大数据项目实战一
本栏为学习Aikfk大数课程项目总结
<一蓑烟雨任平生>
没成功之前才华等于狗屎,只有成功了才证明你的一切!
展开
-
基于业务流程完成Hive与HBase的集成
目录第一步第二步第三步第一步在hive-site.xml文件中配置zookeeper,hive通过这参数的配置去连接HBase <property> <name>hbase.zookeeper.quorum</name> <value>node1,node2,node3</value> </property>第二步将HBase中的9原创 2020-07-18 19:15:39 · 312 阅读 · 0 评论 -
基于ECharts实现大数据项目实战一可视化分析
目录一、业务需求分析二、web系统数据处理服务层开发三、基于WebSocket协议的数据推送服务开发四、基于Echart框架的页面展示层开发五、运行展示一、业务需求分析根据业务需求,我们需要将spark处理过的数据写入到mysql数据库中,再实时推送到web前段页面,这里的spark处理数据并写入mysql数据库上篇博客已经讲到:https://blog.csdn.net/weixin_45366499/article/details/108903149接下来的工作就是将数据库中的数据展示到界面上。原创 2020-10-04 18:02:08 · 3826 阅读 · 4 评论 -
基于Structured Streaming完成业务数据实时分析
目录一、熟悉业务流程二、启动服务三、启动业务程序(1)通过脚本启动flume(2)测试模拟程序服务四、Structured Streaming处理kafka的数据五、将处理的数据结果写入到MySQL数据库中一、熟悉业务流程项目数据流程:数据源——Flume采集——Kafka——Structured Streaming数据分析——MySQL数据库前半部分的数据采集Flume与Kafka的集成已经完工,详细可见这篇博客:https://blog.csdn.net/weixin_45366499/ar原创 2020-10-02 17:47:15 · 1125 阅读 · 0 评论 -
Flume+HBase+Kafka集成数据采集/存储/分发完整流程测试
目录第一步:熟悉需求分析第二步:应用服务模拟器程序开发(1)应用服务程序开发(2)Jar包上传与分发第三步:编写运行脚本(1)编写运行模拟程序的Shell脚本(2)编写Flume集群服务启动脚本(3)编写Kafka Consumer执行脚本第四步:测试(1)启动程序(2)启动测试(1)通过脚本启动flume(2)测试模拟程序服务(3)测试flume与Kafka(4)测试flume与HBase关于Flume、HBase、Kafka相关配置介绍可参考下面文章:Centos7下Kafka安装与配置Cent原创 2020-07-06 18:57:04 · 2215 阅读 · 1 评论 -
基于业务流程Centos7下Flume安装配置与集成开发(超详细!!!)
目录Centos7下Hadoop完全分布式集群Flume安装第一步:安装软件(1)上传文件(2)解压文件第二步:配置环境变量第三步:修改配置文件(1)更改文件名与分发文件(2)修改node2上的配置文件(1)source配置(2)channel配置(3)sink配置(3)修改node3上的配置文件(4)修改node1上的配置文件(重点!)(1)Flume与HBase的集成配置(1)source配置(2)channel配置(3)sink配置(4)对日志数据进行格式处理(5)对sinkHBase程序做二次开发(原创 2020-07-01 13:43:39 · 1389 阅读 · 0 评论