![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
修水管的
这个作者很懒,什么都没留下…
展开
-
sparkstreaming写入hbase,mysql
spark streaming的开发流程 1.构建StreamingContext,这个类型封装了SparkContext 2.从数据源处加载流数据,获取DStream,它封装了rdd 3.调用DStream的各种api方法完成流处理过程 4.启动流计算 我们一一个小需求来做例子进行展示写入操作 数据库id要设置为自增长,不然运行时会报 **id not have default va...原创 2018-04-13 08:22:38 · 2609 阅读 · 2 评论 -
java.lang.IllegalStateException: begin() called when transaction is OPEN!
在flume文件夹下的 lib目录下jar包冲突 scala-library 版本问题导致jar包冲突,将2.10.5版本重命名,不要删掉,以免下次使用找不到原创 2018-04-13 15:13:24 · 2693 阅读 · 0 评论