郝文的博客

原创 权限管理设计方案

原创 Hive窗口函数语法

hive窗口函数语法，常用函数

原创 公司为什么需要文件摆渡系统

数据安全，数据隔离

原创 java正则表达式用法总结

w word:单词字符串 等价于[a-z0-9A-Z_]\s space 表示空白字符 /r /n /t。[^ab]不是a也不是b，^在[]中表示非。[a-z0-9A-Z_] 数字字母下划线。a{1,} 至少1个a 等价于 a+a{0,} 0个或多个a 等价于a*a{0,1} 0个或者1个a 等价于a?a{2,5} 最少2个a，最多5个a。\W 非单词字符串 [^\w][a-zA-Z] 所有字母。[a-z] 所有小写字母。一、[]，表示取值范围。a{2,} 至少2个a。a{2} 正好2个a。...

原创 Mysql用过的高级命名备忘

show master status：查看binlog日志监控情况

原创 大数据数仓模型设计理论

一、事实表又可分成以下三种：事务事实表：保存各业务过程的原子操作事件，即最细粒度的操作事件周期快照事实表：以具有规律性的，可预见的事件间隔来记录事实，主要用来记录一些存量型(库存数量，账户余额)，或者状态型(温度，行驶速度)等指标累积快照事实表：是一个业务流程中多个关键业务过程联合处理而构建的事实表，主要用于分析业务过程(里程碑)中之间的时间间隔，典型示例如下 订单id 用户id 下单日期 支付日期 ...

原创 linux集群常用文件拷贝命令

1）scp（secure copy）安全拷贝scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称例如：将hadoop101中/opt/module目录下的软件拷贝到hadoop102上。scp -r /opt/module root@hadoop102:/opt/module2）rsync远程同步工具rsync -av $pdir/$fname ...

原创 解决VMware虚拟机ens33网卡丢失的情况

chkconfig network off chkconfig network on service NetworkManager stopservice NetworkManager start

转载 环形队列的应用

一、缘起很多时候，业务有“在一段时间之后，完成一个工作任务”的需求。例如：滴滴打车订单完成后，如果用户一直不评价，48小时后会将自动评价为5星。一般来说怎么实现这类“48小时后自动评价为5星”需求呢？常见方案：启动一个cron定时任务，每小时跑一次，将完成时间超过48小时的订单取出，置为5星，并把评价状态置为已评价。假设订单表的结构为：t_order(oid, finish_time, stars, status, …)，更具体的，定时任务每隔一个小时会这么做一次：sel

转载 ZooKeeper原理

ZooKeeper简介ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。ZooKeeper设计目的1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。2.可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。3.实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的.

转载 大数据系列之MapReduce的shuffle原理

Shuffle 的本义是洗牌、 混洗， 把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。 MapReduce 中的 Shuffle 更像是洗牌的逆过程， 把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么 MapReduce 计算模型需要 Shuffle 过程？ 我们都知道 MapReduce 计算模型一般包括两个重要的阶段： Map 是映射， 负责数据的过滤分发； Reduce 是规约， 负责数据的计算归并。Reduce 的数据来源于 Map， Map 的输出即是 Reduc

转载 Vmware虚拟机三种网络模式详解

原文来自于 Vmware虚拟机三种网络模式详解 - 林加欣 - 博客园原文来自http://note.youdao.com/share/web/file.html?id=236896997b6ffbaa8e0d92eacd13abbf&type=notehttps://www.cnblogs.com/linjiaxin/p/6476480.html我怕链接会失效，故转载此篇文章由于Linux目前很热门，越来越多的人在学习linux，但是买一台服务放家里来学习，实在是很浪费。那么如何解决这..

原创 关于java 8 filter使用心得

一、如果A集合元素数量10个，filter满足条件为5个，没有赋值新集合，那么A还是原来的10个，如果赋值给B集合，B集合为5个；二、如果A集合10个，filter满足条件为5个，赋值给B集合，遍历B集合，对这5个元素进行了修改，那么A集合中的5个元素也会同时修改。...

原创 Git常用命令

代码提交到gerrit：git push origin HEAD:refs/for/release%r=xxx

原创 MySQL 行锁、两阶段锁协议、死锁以及死锁检测

参考以下文章：https://blog.csdn.net/weixin_38118016/article/details/90271468

原创 面试题记录

1.mysql行锁是怎么实现的；2.mysql事务隔离级别，各种隔离级别会出现哪些问题，适用场景？3.spring声明式事务实现方式、传播机制、多线程事务能否生效；4.rpc框架的调用机制，注册中心集群是怎么同步数据的？5.项目中遇到的难点有哪些？...

原创 Kafka原理总结

详见以下文档，很详细~~https://blog.csdn.net/u013573133/article/details/48142677

原创 HashMap底层实现原理(JDK1.8)源码分析

参考以下博文，很详细！https://www.cnblogs.com/little-fly/p/7344285.html

转载 for循环中删除元素的问题

java语言中，for循环有三种实现方法：1、for循环遍历listfor(int i=0;i<list.size();i++){ if(list.get(i).equals("del")) list.remove(i);}2、增强for循环for(String x:list){ if(x.equals("del")) list...

原创 TCC方案解决分布式事务

参考以下文档：https://www.yyuap.com/doc/cloud_micro_service.html#/md-build/cloud_micro_service/articles/cservice/4-/4.14/manual.md?key=Tcc%E4%BA%8B%E5%8A%A1

原创 mysql批量更新使用case when then

以下是sql脚本书写：UPDATE ba_addressSET ship_from_code = CASE WHEN id = 13845236 THEN 'ISCP13845236' END WHEN id = 13845237THEN 'ISCP13845237' ENDWHERE ID IN (138...

原创 通过excel函数将表格中的数据转成sql脚本导入到数据库

函数表达式如下：="insert into ba_dictionary("&$A$1&","&$B$1&","&$C$1&","&$D$1&","&$E$1&") values('"&A2&"','"&B2&"','"&C2&"','"&D2&"','...

转载 对称加密和非对称加密

本文目录1.概念 2.对称加密 3.非对称加密 4.非对称加密之公钥/私钥1 概念A 和 B 要把他们的通信内容加密， 如果A/B使用相同的加密解密key，那这就是 对称加密。对称加密最大的问题就是A和B之间的加密/解密key必须是唯一的。也就是如果A和C 要加密通信，同时还不想让C知道A/B之间的通信内容。那么A/C之间的加密/解密用的key就不能和A/B之间的一样。链接...

原创 mysql root账户查看日志记录

SET GLOBAL log_output='table';SET GLOBAL general_log = 'ON';SET GLOBAL general_log = 'OFF';SELECT * FROM mysql.general_log ORDER BY event_time DESC;SELECT * FROM mysql.`general_log` WHERE argument ...

原创 String强转和toString区别

相同点：都是将一个对象转成String。不同点：String强转的对象就算是null，也不会报错，强转后的对象还是null；toString转换的对象如果是null，会报NPE。综上，尽量使用(String)强转吧！...

原创 logback-spring.xml配置文件

通用配置参照以下:<?xml version="1.0" encoding="UTF-8"?><!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果设置为WARN，则低于WARN的信息都不会输出 --><!-- scan:当此属性设置为true时，配置文档如果...

转载 Java的常量接口思考，项目中的常量是放在接口里还是放在类里呢?

最近在看一本书 Java与模式，里面提了一句不建议使用常量接口，甚至举了个java源码的反例，蛋疼的是没有说为什么？查了网上一圈发现他们也是知道怎么做而不知道为什么这么做。然后我只能找谷歌了，翻译后，我把自己理解外加总结的放在下面。第一常量类应该是final，不变的，而接口里的参数是final，也是不变的。那么，看起来接口是放常量没有一定问题，还省去了fi...

原创 配置中心gitlab

uat验收：1.0.0test测试：2.0.0

原创 mysql添加字段、修改字段、添加索引、修改索引sql语句写法

1、修改表名：　　rename table旧表名to 新表名;2、修改字段类型：　　alter table 表名 modify column 字段名 字段类型（长度）3、修改字段名称和类型： alter table 表名 change 现有字段名称 修改后字段名称 数据类型4、增加字段：　　alter table 表名 add 字段名 字段类型（长度）...

原创 项目踩坑集合:eclipse整合gerrit发现没有push to gerrit

进入到.git文件夹中，注意.git文件夹是默认隐藏的，先设置文件夹选项，显示隐藏文件夹后可以看到该文件夹。打开文件夹下的config文件，增加以下内容，刷新git仓库即可。[gerrit] createchangeid = true...

原创 mysql根据一个表数据批量更新另一个表

UPDATE bd_staff t SET t.depart_id = ( SELECT tem.id FROM (SELECT id,`code` FROM org_department) AS tem WHERE t.depart_no =tem.`code` )以上sql根据一个表的数据去批量更新另一个表的数据。...

转载 Springboot学习整理

0.学习目标了解SpringBoot的作用掌握java配置的方式了解SpringBoot自动配置原理掌握SpringBoot的基本使用了解Thymeleaf的基本使用1. 了解SpringBoot在这一部分，我们主要了解以下3个问题：什么是SpringBoot为什么要学习SpringBootSpringBoot的特点1.1.什么是SpringBootSpringBo...

原创 堆和非堆（元空间）的内存模型和调优参数

从图中可以看出： 堆大小 = 新生代 + 老年代。其中，堆的大小可以通过参数 –Xms、-Xmx 来指定。以下参数用于JVM内存调优-Xms初始堆大小。如：-Xms256m-Xmx最大堆大小。如：-Xmx512m-Xmn新生代大小。通常为 Xmx 的 1/3 或 1/4。新生代 = Eden + 2 个 Survivor 空间。实际可用空间为 = Eden + 1 个 Surviv...

转载 RPC、RMI、SOAP的区别详解

RPC、RMI、SOAP的区别详解RPC：（Remote Procedure Call）　　被设计为在应用程序间通信的平台中立的方式，它不理会操作系统之间以及语言之间的差异。 支持多语言。RMI：（Remote Method Invocation）RPC 的Java版本，EJB的基础技术RMI 采用JRMP（Java Remote Method Protocol）通讯协议，是构建在TCP...

原创 SVN的使用

SVN的工作机制 C/S结构 基本操作 检出（Checkout） 把服务器端版本库内容完整下载到本地。 在整个开发过程中只做一次。 更新（Update） 把服务器端相对于本地的新的修改下载到本地。 提交（Commit） 把本地修改上传到服务器。 安装服务器端程序 yum install -y subversion 验证 ...