- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 spark Streaming从kafka消费数据遇到的问题,求解
问题: INFO JobScheduler: Added jobs for time 消费kafka数据的过程中,有时候会一直出现 INFO JobScheduler: Added jobs for time ,百度说的是设置的单线程,但是在程序里面设置的是local[*],偶然跑了下,发现会有Added jobs for time和数据一起出现的情况,求解~~ ...
2019-03-13 16:36:50 1637 1
原创 spark原理概念
spark有哪些组件: master:管理集群和节点,不参与计算 worker:计算节点,进程本身不参与计算,向master心跳(不包含节点资源) Driver:运行程序的main方法,创建spark context对象 spark context:控制整个application的生命周期,包括DAGSchedule和 TaskSchedule等 client:用户提交程序的入口 spark的优...
2019-03-01 18:18:38 307
spring4个核心包加两个日志包
2017-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人