![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
小项目
文章平均质量分 93
小王是个弟弟
个人博客 https://uhope.fun
展开
-
聊一聊我的第一个开源项目
🎉🎉基于docker一站式hadoop集群管理,使用rust构建hdd客户端管理容器全生命周期原创 2022-12-01 12:19:38 · 485 阅读 · 0 评论 -
大数据离线数仓常用组件安装汇总
离线数仓常用大数据组件安装教程,定制化、高可用需求按需配置,该文档仅保证组件正常运行原创 2021-02-23 15:35:31 · 707 阅读 · 0 评论 -
基于kettle实现mysql-hive的数据传输(生产环境)
记一次代码被经理毙掉之后被迫使用kettle的经历原创 2020-12-18 15:27:20 · 1223 阅读 · 0 评论 -
flume 拓扑实战
1) flume-1监控test.txt日志,flume-1的数据传送给flume-2,flume-2将数据追加到本地文件,同时flume-2将数据传输到flume-3。2) flume-4监控本地另一个自己创建的文件any.txt,并将数据传送给flume-3。3) flume-3将汇总数据写入到HDFS。原创 2020-09-29 11:31:12 · 200 阅读 · 0 评论 -
SparkStreaming对接Kafka实现黑名单
一、需求在程序运行期间,将点击同一个广告超过10次的用户添加到黑名单二、准备2.1 分析通过代码模拟用户点击行为,并作为kafka的生产者生产数据,SparkStreaming消费kafka数据,并对数据进行分析,将黑名单数据存入mysql中,定义的类有BlackListUtils:工具类,用于产生数据,数据入库等操作UserBehavior:Bean类,用户行为数据的样例类UserClickAdvertising:生产数据,kafka生产者BlackListSparkStreaming:原创 2020-09-27 19:59:26 · 403 阅读 · 0 评论 -
基于Zookeeper实现服务器上下线通知
一、Zookeeper简介Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。1.1 Zookeeper工作机制Zookeeper是基于观察者设计模式设计的分布式服务管理框架,它负责存储和管理大家关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。1.2 Zookeeper特点Zookeeper集群有一个Leader和多个Follower组成集群中要有半数以上节点存原创 2020-06-24 18:50:20 · 2332 阅读 · 0 评论