- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark redis的坑
对于用scala来写spark程序员来说，spark streaming连接redis spark-redis.jar肯定是首选，但有一个坑就是ssc.sparkContext.fromRedisKV 底层是通过scan来获取数据的，当redis中数据过多时，效率十分低下设置并行度的时候，要注意不能大于redis的个数...
2018-01-31 13:54:00
2818
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人