- 博客(1)
- 资源 (2)
- 收藏
- 关注
原创 Spark redis的坑
对于用scala来写spark程序员来说,spark streaming连接redis spark-redis.jar肯定是首选,但有一个坑就是ssc.sparkContext.fromRedisKV 底层是通过scan来获取数据的,当redis中数据过多时,效率十分低下 设置并行度的时候,要注意不能大于redis的个数 ...
2018-01-31 13:54:00 2818
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人