- 博客(8)
- 资源 (2)
- 收藏
- 关注
原创 kafka笔记-KafkaProducer
KafkaProducer1. 主要的成员变量KafkaThread:producer启动的时候会创建一个线程,这个线程里面有个重要的SenderSender:sender也是在producer初始化化的时候创建的,两个重要的东西KafkaClient(即NetWorkClient),还有个重要的东西RecordAccumator发送数据的时候会调用recordAccumator.append方法,recordAccumator内部有个暂存数据的ConcurrentMap,这里主要维护了一个
2021-04-03 20:37:17
159
原创 hadoop原理巧用到异地机房双活
为什么要考虑hadoop集群异地双活?因为我们一般集群的建设基本上都是部署在同一个地方,为了保证公司业务24小时不间断服务,所以必须要考虑集群的高可用,而我们常见的高可用一般是给A集群搞个灾备集群B集群,A、B集群不会再同一个机房,A、B集群的数据同步依赖于hadoop自身提供的工具distcp,那么discp有什么缺点呢。1.长时间占用yarn资源2.一般只同步重要的部分数据(这一点其实没毛病)3.两个集群必须所有节点必须网络畅通4.天级别数据延迟,因为我们可能一天24小时都在同步...
2020-07-02 01:13:57
2366
1
原创 idea右键run一个mini-hadoop集群
仓库地址:https://github.com/changkunw/hadoop-mini-cluster这个代码是我从hadoop的源码里面扣了一部分出来,然后做了些修改,可以实现在idea里面就启动NameNode和DataNode,方便理解hadoop源码。运行,runMiniClusterExample运行之后就可以在启动一个迷你的hadoop集群了,...
2020-07-01 23:42:28
240
原创 Netty使用经验总结
不得不说的netty里面万能tcp粘包解决组合(变长协议)LengthFieldPrependerLengthFieldBasedFrameDecoder我认为netty里面提供的这两个东西,组合使用能够解决在任何场景的tcp粘包的问题,所以在用netty解决tcp粘包的时候,一定要学会这套组合拳,使用这两个东西就是说发送消息的时候,将消息的长度带上,然后根据消息的长度来进行拆包。(这两...
2020-04-21 16:37:56
701
原创 hadoop client获取Active NameNode 小窍门
获取NameNode的方法Configuration configuration = new Configuration();FileSystem fileSystem = FileSystem.get(configuration);DistributedFileSystem dfs = (DistributedFileSystem) fileSystem;DFSClient client...
2020-03-31 11:20:12
1145
原创 yarn的两种ContainerExecutor
yarn里面的资源分配器给了两种,分别是:DefaultContainerExecutor和LinuxContainerExecutor,这两个都继承ContainerExecutor区别DefaultContainerExecutor不会做cpu的分配,只做内存的分配LinuxContainerExecutor可以做cpu的分配,即采用这种资源分配器才会有提交到yarn的任务才会有c...
2020-03-18 16:20:07
686
原创 Dbvisualizer连接大数据带Kerberos的hive
工具MIT Kerberos : https://web.mit.edu/kerberos/kfw-4.1/kfw-4.1.htmlDBVisualizer :https://www.dbvis.com/download/10.0 根据自己需要选择是否需要带jdk的安装软件软件安装默认下一步,没有什么需要注意的本地环境变量配置krb5.ini : 可以从集群中拷贝一个,放到c:\...
2019-07-09 17:20:51
1753
2
翻译 java最佳实践
java 最佳实践Java 是在世界各地最流行的编程语言之一, 但是看起来没人喜欢使用它。而 Java 事实上还算是一门不错的语言,随着 Java 8 最近的问世,我决定编制一个库,实践和工具的清单,汇集 Java 的一些最佳实践。作者博客.目录风格 结构构建器模式Immutable Object GenerationExceptions依赖注入避免空值默认不可变更避免大量的工具类
2015-12-11 14:25:04
963
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人