自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 收藏
  • 关注

原创 spark读取hdfs的文件存入hbase慢

解决了数据本地性问题,Locality Level 显示为NODE_LOCAL,但是通过spark读取hdfs的文件存入hbase还是很慢,不知道为什么

2017-10-24 17:02:17 1170

原创 operation category read is not supported in state standby

hadoop 集群做了ha,今天重启了集群,原来master1机器是active,master2是standby,重启以后master1变成standby,master2变成active。而程序里读取hdfs的路径写的还是master1所以报了operation category read is not supported in state standby错。将程序路径改成master2,就好了

2017-10-24 15:37:17 12918 4

转载 spark读取hdfs数据本地性异常

在分布式计算中,为了提高计算速度,数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中,大多数情况下要做到移动计算而非移动数据,所以数据本地性尤其重要,因此我们往往也是将hdfs和spark部署在相同的节点上,有些人可能会发现即使他已经这么做了,在spark的任务中的locality还是ANY,这说明所有的数据都是走的网络IO。

2017-10-24 15:34:06 426

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除