我也要用- 博客(6)
- 资源 (5)
- 论坛 (31)
- 收藏
- 关注
RSS订阅原创 spark与scala jar包版本冲突问题
例如spark1.6.0是基于scala2.10.x的，如果用intellj创建基于scala2.11.x的项目，打包出来的jar包，用spark-submit运行spark任务时，会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常。例如代码里有下面这样的Map代码，valnumbers = Map("one"-> 1,"two" -
2016-10-26 11:44:03
5440
原创 spark任务运行及jar包
spark的jar包没必要把所有相关的依赖都打进一个jar包中，因为这样会把spark、hadoop本身相关的jar包也打进去，但是这些依赖在用spark-submit命令运行时，会自动加载部署环境中已有的。 /opt/cloudera/parcels/CDH/bin/spark-submit \--class "cn.icarevision.its007.upgrade.EsInde
2016-10-26 11:38:23
2108
1
原创 hbase创建表抛出TableExist异常
hbase异常启动不起来后，从hdfs中删除hbase的文件，重新建表，抛出TableExist异常。原因是zookeeper上还残留hbase表的信息，需要删除即可。即通过zkCli.sh进行zookeeper后，delete /hbase/table/its007-meta
2016-10-26 11:29:50
741
原创 hbase集群断电数据被破坏无法启动
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进
2016-10-26 10:09:56
3155
原创 重载getSplits自定义hbase mapreduce时map数量
mapreduce任务map数量由InputFomat类的getSplits决定，例如FileInputFormat，则实现是通过输入源文件数决定map数量；mapreduce同时最多运行的任务数由yarn配置决定，为cpu vcores*节点数。它们两个一起影响着任务同时运行的容器数量（Running Containers）。 采用TableMapReduceUtil实现的从hbase读
2016-10-25 18:01:37
2200
6
原创 hbase作为mapreduce输入时speculative推断机制配置如何关闭
hbase作为mapreduce输入时speculative推断机制配置如何关闭
2016-10-25 17:30:21
600
Tree Control下载
2010-04-12
spark driver日志配置和查看的问题
发表于 2016-08-15 最后回复 2018-12-26
关于opencv haar训练样本大小如何选取的问题
发表于 2014-11-06 最后回复 2016-12-15
C++写的简易web服务器为什么不能正常显示内容，java却可以
发表于 2015-09-02 最后回复 2015-09-06
请教一个问题，如何实现私网间的数据传输，而不通过中心服务器？P2P技术可以解决么？
发表于 2015-01-19 最后回复 2015-01-23
Linux的进程ID一直在增加，怎么不会重复利用？
发表于 2014-04-04 最后回复 2014-04-04
使用ShellExecute调用WinRar压缩文件中的路径问题
发表于 2010-10-12 最后回复 2013-04-24
十万火急！100分求救：如果用VC程序实现dwg和dxf文件之间的相互转换
发表于 2010-09-14 最后回复 2013-02-03
c# 如何得到窗口中控件的句柄
发表于 2013-01-08 最后回复 2013-01-08
求助：webchart柱状图间距设置
发表于 2011-04-15 最后回复 2012-07-30
如何在窗口未创建的时候，改变对话框rc文件中窗口默认大小？
发表于 2011-01-19 最后回复 2012-07-17
程序的虚拟内存占用过高，能否将其降低？
发表于 2011-12-16 最后回复 2011-12-17
十万火急！100分贴无人回复：如果用VC程序实现dwg和dxf文件之间的相互转换
发表于 2010-09-15 最后回复 2011-11-17
Ftp FtpFileFind找到的中文文件路径是乱码，有些删除不成功？
发表于 2011-06-10 最后回复 2011-06-13
有谁知道中文字符 CStdioFile::WriteString失败的原因？？
发表于 2011-05-05 最后回复 2011-05-06
新手的很菜的问题，接口与IP地址的困惑?
发表于 2011-03-30 最后回复 2011-04-06
构造函数编程习惯，到底值不值的？
发表于 2011-03-23 最后回复 2011-03-24
Html对齐问题，求帮助
发表于 2011-03-04 最后回复 2011-03-04
如何加载两个资源dll？
发表于 2011-02-15 最后回复 2011-02-16
服务程序如何在Windows未登录时以指定账户登录
发表于 2011-01-14 最后回复 2011-02-12
如何从CImageList对象中获取已加载的bitmap信息用于别处加载？
发表于 2011-01-26 最后回复 2011-02-11
关于ListCtrl图标的简单问题，散分跪求答案
发表于 2011-01-22 最后回复 2011-01-24
服务程序权限问题，启动solidwork程序
发表于 2011-01-13 最后回复 2011-01-13
（ShellExcute）如何延迟几秒后打开一个程序?
发表于 2010-12-10 最后回复 2010-12-14
关于map和Vector的效率问题（超级简单）
发表于 2010-11-03 最后回复 2010-11-04
悲剧！关于C++发送邮件。神呀，救救我吧，烧着给分，不够再添
发表于 2010-09-08 最后回复 2010-10-01
关于ROSE工具VC逆向时提示没有VC++IDE的问题？超弱智，在线等回复
发表于 2010-08-05 最后回复 2010-09-08
右键菜单残影消失慢，该怎么办
发表于 2010-07-30 最后回复 2010-08-05
重新播放另一flv文件，该如何加载，直接重新put_FlashVars()之后不起作用
发表于 2010-07-28 最后回复 2010-07-30
如何收拢主菜单(IDR_MAINFRAME)，有无消息可用?
发表于 2010-07-08 最后回复 2010-07-13
菜单--“最近打开文件”的全路径显示问题
发表于 2010-07-05 最后回复 2010-07-09
如何在对话框中播放.flv格式文件
发表于 2010-07-05 最后回复 2010-07-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝