![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark stremaing
文章平均质量分 78
自由幻想的人儿
这个作者很懒,什么都没留下…
展开
-
spark streaming实时流式处理wordcount,数据写出到redis
Spark Streaming是spark的一个组件,可以对实时流式数据进行数据处理,数据的基本操作对象是DStream.DStream是一系列的RDDs。这个对象将流式的数据按时间切分为一系列的rdd的数据文件。然后就对数据进行处理。rdd=DStrema At Batch Time。 思想:创建对象ssc,实时读取文件,处理,输出结果写出到redis(建立连接redis) 可以设计到原创 2018-02-01 23:07:19 · 5210 阅读 · 0 评论 -
scalikejdbc框架对mysql数据库进行增删改查,事务创建
1.在scala中想要操作mysql数库中的数据,可以使用scalikejdbc。 2.导入依赖。 3.在resource文件中添加application.conf文件。然后配置参数。 db.default.driver="com.mysql.jdbc.Driver" db.default.url="jdbc:mysql://localhost:3306/bbs?characterEnc原创 2018-02-04 21:04:22 · 1568 阅读 · 0 评论 -
sparkstreaming整合kafka参数设置,message偏移量写入redis
kafka高级数据源拉取到spark,偏移量自我维护写入到redis,建立redis连接池。 需要导入 groupId>org.apache.sparkgroupId> artifactId>spark-streaming-kafka-0-10_2.11artifactId> version>2.2.1version> dependency> 导入redis的客户端的java的原创 2018-02-05 16:13:29 · 1614 阅读 · 2 评论 -
sparkstreaming整合kafka参数设置,message偏移量写入mysql
kafka高级数据源拉取到spark,偏移量自我维护,借助scalikejdbc写入到mysql。 需要导入 dependency> groupId>org.scalikejdbcgroupId> artifactId>scalikejdbc_2.11artifactId> version>2.5.0version> dependency> dependency> groupI原创 2018-02-05 16:05:20 · 3511 阅读 · 2 评论