sparkStreaming
一曲无痕奈何
执笔书写人生路,背包踏尽世俗事。
展开
-
Streaming实战
用Python日志产生器开发实之产生访问Url和Ip信息,时间,http请求头,查询内容: 根据主站的url和ip地址可以看到页面的信息,然后根据实际情况来定时产生ip和url 通过定时调度工具每一分钟产生一批数据 Linux crontab 网站 :http://tool.lu/crontab 每一分钟执行一次的cron...原创 2019-10-23 15:22:06 · 504 阅读 · 0 评论 -
用Python日志产生器开发实之产生访问Url和Ip信息,时间,http请求头,查询内容:
用Python日志产生器开发实之产生访问Url和Ip信息,时间,http请求头,查询内容: 根据主站的url和ip地址可以看到页面的信息,然后根据实际情况来定时产生ip和url 模拟的数据的结果: 模拟的代码: #定时模拟数据 #coding = UTF-8 #根据课程页面分析拿到数据 #访问的路径 import random import time url_pa...原创 2019-10-15 20:15:29 · 367 阅读 · 0 评论 -
案例实战Spark Streaming处理socket数据
数据统计 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} /** * Spark Streaming 处理Socket数据 * 采用nc测试 */ object NetworkWordCount { def main(args:...原创 2019-10-03 23:22:20 · 261 阅读 · 0 评论