SparkStreaming学习札记--实时流处理项目实战
基于慕课视频Spark Streaming实时流处理项目实战记录
startLight2019
优质程序猿一枚!!!
AI平台系统研发、数据处理与分析、区块链应用系统研发
展开
-
SparkStreaming学习札记5-2020-2-17--SparkStreaming实时流处理项目实战
查询两个数据表中的相关联的数据整合SQL语句 select b.course_name course_name, a.click_count click_count from( (select course_id,click_count from course_click_count where day='20200216') a join (select course_id...原创 2020-02-17 12:20:26 · 115 阅读 · 0 评论 -
SparkStreaming学习札记5-2020-2-16--SparkStreaming实时流处理项目实战
12-13 -功能一之Hbase及打包注意事项 功能1:今天到现在为止实战课程的访问量 yyyyMMdd courseio 使用数据库来进行存储我们的统计结果 Spark Streaming把统计结果写入到数据库里面 可视化前端根据:yyyyMMdd courseid把数据库里面的统计结果展示出来 ...原创 2020-02-16 15:41:58 · 204 阅读 · 0 评论 -
SparkStreaming学习札记4-2020-2-15--SparkStreaming实时流处理项目实战
12-8 -通过定时调度工具每一分钟产生一批数据 1.在线工具 https://tool.lu/crontab/ contab -e */1 * * * * /hadoop/data/project/log_generator.sh 2.对接python日志产生器输出的日志到Flume 定义名字为streaming_project.conf 选...原创 2020-02-15 16:02:30 · 119 阅读 · 0 评论 -
SparkStreaming学习札记3-2020-2-14--SparkStreaming实时流处理项目实战
第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础 1.日志到flume环节 编写flume配置文件streaming.conf后 进入flume目录 cd /home/hadoop/app/apache-flume-1.6.0-cdh5.7.0-bin/conf 启动 flume-ng agent --conf $FLUME_HOM...原创 2020-02-14 14:28:15 · 114 阅读 · 0 评论 -
SparkStreaming学习札记2-2020-2-13--SparkStreaming实时流处理项目实战
第9章 Spark Streaming整合Flume 1.Receiver方式整合 1)启动zk ./zkServer.sh start 2)启动Kafka ./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties 其中-daemon是指后台运行 3)创建topic ./...原创 2020-02-13 13:00:33 · 104 阅读 · 0 评论 -
Spring Boot学习扎要2_2019.2.11-基于新版本微服务时代Spring Boot企业微信点餐系统
1. Inferred type 'S' for type parameter 'S' is not within its bound springboot报错内容: Inferred type ‘S’ for type parameter ‘S’ is not within its bound; should extends xxxxxx /* * 根据id查询 */ @GetMappin...原创 2020-02-11 21:11:23 · 163 阅读 · 0 评论 -
SparkStreaming学习札记1-2020-2-11--SparkStreaming实时流处理项目实战
1. 2.原创 2020-02-13 11:58:26 · 127 阅读 · 0 评论