自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 spark与scala jar包版本冲突问题

例如spark1.6.0是基于scala2.10.x的,如果用intellj创建基于scala2.11.x的项目,打包出来的jar包,用spark-submit运行spark任务时,会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常。 例如代码里有下面...

2016-10-26 11:44:03

阅读数 4732

评论数 0

原创 spark任务运行及jar包

spark的jar包没必要把所有相关的依赖都打进一个jar包中,因为这样会把spark、hadoop本身相关的jar包也打进去,但是这些依赖在用spark-submit命令运行时,会自动加载部署环境中已有的。   /opt/cloudera/parcels/CDH/bin/spark-submit...

2016-10-26 11:38:23

阅读数 1843

评论数 1

原创 hbase创建表抛出TableExist异常

hbase异常启动不起来后,从hdfs中删除hbase的文件,重新建表,抛出TableExist异常。 原因是zookeeper上还残留hbase表的信息,需要删除即可。 即通过zkCli.sh进行zookeeper后,delete /hbase/table/its007-meta

2016-10-26 11:29:50

阅读数 584

评论数 0

原创 hbase集群断电数据被破坏无法启动

集群机器意外断电重启,导致hbase 无法正常启动,抛出reflect invocation异常,可能是正在执行的插入或合并等操作进行到一半时中断,导致部分数据文件不完整格式不正确或在hdfs上block块不完整。 在网上查了一下相关资料,怀疑有可能是关闭前一些未提交的修改所存放的log文件数...

2016-10-26 10:09:56

阅读数 2700

评论数 0

原创 重载getSplits自定义hbase mapreduce时map数量

mapreduce任务map数量由InputFomat类的getSplits决定,例如FileInputFormat,则实现是通过输入源文件数决定map数量;mapreduce同时最多运行的任务数由yarn配置决定,为cpu vcores*节点数。它们两个一起影响着任务同时运行的容器数量(Runn...

2016-10-25 18:01:37

阅读数 1769

评论数 6

原创 hbase作为mapreduce输入时speculative推断机制配置如何关闭

hbase作为mapreduce输入时speculative推断机制配置如何关闭

2016-10-25 17:30:21

阅读数 453

评论数 0

提示
确定要删除当前文章?
取消 删除