- 博客(3)
- 收藏
- 关注
RSS订阅原创 kafka与spark应用
kafka主要是用来做日志收集，可以收集用户的流量，点击行为，kafka目前版本是1.0的，其0.9的版本坑特别多，推荐大家使用0.8.2.1版本，正是spark1.6.2集成的kafka版本，非常稳定。以下是本人录制的spark与kafka做实时流计算的视频课程。 1、spark与kafka的介绍 2、spark的集群安装 3、Spark RDD函数讲解与实战分析 4、Spark 的java操作...
2016-09-01 08:48:19
175
原创 spark+kafka实时流机器学习
kafka主要是用来做日志收集，可以收集用户的流量，点击行为，kafka目前版本是1.0的，其0.9的版本坑特别多，推荐大家使用0.8.2.1版本，正是spark1.6.2集成的kafka版本 大家可以去大象在线分享看看夜行侠老师的spark视频 http://www.itjoin.org/course/detail/57aa8938b52a8f0ddbd81763 ...
2016-08-31 10:11:32
203
原创 spark2.0的SparkSQLbug
Spark2.0虽然速度很快，但是SparkSQL很多bug，没法采用SparkSession把数据从MySQL中导入和获取数据，采用Spark shell可以进入，执行spark.read.format("jdbc").options(Map("url" ->"jdbc:mysql://192.168.10.41:3306","user","root","password&quo
2016-08-31 10:10:43
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人