- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark读取hdfs的文件存入hbase慢
解决了数据本地性问题，Locality Level 显示为NODE_LOCAL，但是通过spark读取hdfs的文件存入hbase还是很慢，不知道为什么
2017-10-24 17:02:17
1171
原创 operation category read is not supported in state standby
hadoop 集群做了ha，今天重启了集群，原来master1机器是active，master2是standby，重启以后master1变成standby，master2变成active。而程序里读取hdfs的路径写的还是master1所以报了operation category read is not supported in state standby错。将程序路径改成master2，就好了
2017-10-24 15:37:17
12920
4
转载 spark读取hdfs数据本地性异常
在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经这么做了，在spark的任务中的locality还是ANY，这说明所有的数据都是走的网络IO。
2017-10-24 15:34:06
427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人