SparkStreaming学习札记--实时流处理项目实战
基于慕课视频Spark Streaming实时流处理项目实战记录
startLight2019
优质程序猿一枚!!!
AI平台系统研发、数据处理与分析、区块链应用系统研发
展开
-
SparkStreaming学习札记5-2020-2-17--SparkStreaming实时流处理项目实战
查询两个数据表中的相关联的数据整合SQL语句select b.course_name course_name, a.click_count click_countfrom( (select course_id,click_count from course_click_count where day='20200216') a join (select course_id...原创 2020-02-17 12:20:26 · 129 阅读 · 0 评论 -
SparkStreaming学习札记5-2020-2-16--SparkStreaming实时流处理项目实战
12-13 -功能一之Hbase及打包注意事项功能1:今天到现在为止实战课程的访问量 yyyyMMdd courseio使用数据库来进行存储我们的统计结果 Spark Streaming把统计结果写入到数据库里面可视化前端根据:yyyyMMdd courseid把数据库里面的统计结果展示出来 ...原创 2020-02-16 15:41:58 · 216 阅读 · 0 评论 -
SparkStreaming学习札记4-2020-2-15--SparkStreaming实时流处理项目实战
12-8 -通过定时调度工具每一分钟产生一批数据1.在线工具https://tool.lu/crontab/contab -e */1 * * * * /hadoop/data/project/log_generator.sh2.对接python日志产生器输出的日志到Flume定义名字为streaming_project.conf选...原创 2020-02-15 16:02:30 · 131 阅读 · 0 评论 -
SparkStreaming学习札记3-2020-2-14--SparkStreaming实时流处理项目实战
第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础1.日志到flume环节编写flume配置文件streaming.conf后进入flume目录cd /home/hadoop/app/apache-flume-1.6.0-cdh5.7.0-bin/conf启动flume-ng agent --conf $FLUME_HOM...原创 2020-02-14 14:28:15 · 120 阅读 · 0 评论 -
SparkStreaming学习札记2-2020-2-13--SparkStreaming实时流处理项目实战
第9章 Spark Streaming整合Flume1.Receiver方式整合1)启动zk./zkServer.sh start2)启动Kafka./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties其中-daemon是指后台运行3)创建topic./...原创 2020-02-13 13:00:33 · 115 阅读 · 0 评论 -
Spring Boot学习扎要2_2019.2.11-基于新版本微服务时代Spring Boot企业微信点餐系统
1.Inferred type 'S' for type parameter 'S' is not within its boundspringboot报错内容:Inferred type ‘S’ for type parameter ‘S’ is not within its bound; should extends xxxxxx/** 根据id查询*/@GetMappin...原创 2020-02-11 21:11:23 · 174 阅读 · 0 评论 -
SparkStreaming学习札记1-2020-2-11--SparkStreaming实时流处理项目实战
1.2.原创 2020-02-13 11:58:26 · 137 阅读 · 0 评论