自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 资源 (5)
  • 论坛 (31)
  • 收藏
  • 关注

原创 spark与scala jar包版本冲突问题

例如spark1.6.0是基于scala2.10.x的,如果用intellj创建基于scala2.11.x的项目,打包出来的jar包,用spark-submit运行spark任务时,会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常。例如代码里有下面这样的Map代码,valnumbers = Map("one"-> 1,"two" -

2016-10-26 11:44:03 5440

原创 spark任务运行及jar包

spark的jar包没必要把所有相关的依赖都打进一个jar包中,因为这样会把spark、hadoop本身相关的jar包也打进去,但是这些依赖在用spark-submit命令运行时,会自动加载部署环境中已有的。 /opt/cloudera/parcels/CDH/bin/spark-submit \--class "cn.icarevision.its007.upgrade.EsInde

2016-10-26 11:38:23 2108 1

原创 hbase创建表抛出TableExist异常

hbase异常启动不起来后,从hdfs中删除hbase的文件,重新建表,抛出TableExist异常。原因是zookeeper上还残留hbase表的信息,需要删除即可。即通过zkCli.sh进行zookeeper后,delete /hbase/table/its007-meta

2016-10-26 11:29:50 741

原创 hbase集群断电数据被破坏无法启动

集群机器意外断电重启,导致hbase 无法正常启动,抛出reflect invocation异常,可能是正在执行的插入或合并等操作进行到一半时中断,导致部分数据文件不完整格式不正确或在hdfs上block块不完整。在网上查了一下相关资料,怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整,故把hbase.hlog.split.skip.errors改成true进

2016-10-26 10:09:56 3155

原创 重载getSplits自定义hbase mapreduce时map数量

mapreduce任务map数量由InputFomat类的getSplits决定,例如FileInputFormat,则实现是通过输入源文件数决定map数量;mapreduce同时最多运行的任务数由yarn配置决定,为cpu vcores*节点数。它们两个一起影响着任务同时运行的容器数量(Running Containers)。 采用TableMapReduceUtil实现的从hbase读

2016-10-25 18:01:37 2200 6

原创 hbase作为mapreduce输入时speculative推断机制配置如何关闭

hbase作为mapreduce输入时speculative推断机制配置如何关闭

2016-10-25 17:30:21 600

Tree Control下载

树视控件在多文档中的使用 详细信息 < 树型控件(视图) > 自从来到我们的论坛以来,认识了很多的朋友和编程的高手,从中学到了很多知识。我看在论坛中有很多人问关于树控的问题。故将树控的一些问题写出来,以供大家参考,同时也作为近一段时间来学习的总结。 本文中主要讲到如何在多文档中加入一个ControlBar,以及如何在ControlBar中加入一个树控方法。这也是软件系统中常用的一种界面,希望能对大家有所帮助。

2010-04-12

小说网站推荐系统分享

某小说网站的推荐系统设计说明,各位可以参考参考,还不错

2018-09-18

挖财网演讲ppt-比特币的历史与区块链的未来2

挖财网的首席架构师王宏江分享的比特币的历史与区块链的未来2 当作基础资料来了解不错,里面有一些背景介绍

2018-08-24

postman_v4.2.0

windows下chrome浏览器postman插件,版本v4.2.0,拖入chrome扩展插件里即可安装,调试http请求的最佳利器

2018-07-26

windows curl工具

windows下的curl工具,免安装,很小,记得添加路径到系统PATH属性,这样可以模拟linux下的curl操作

2018-07-26

spark driver日志配置和查看的问题

发表于 2016-08-15 最后回复 2018-12-26

关于opencv haar训练样本大小如何选取的问题

发表于 2014-11-06 最后回复 2016-12-15

C++写的简易web服务器为什么不能正常显示内容,java却可以

发表于 2015-09-02 最后回复 2015-09-06

请教一个问题,如何实现私网间的数据传输,而不通过中心服务器?P2P技术可以解决么?

发表于 2015-01-19 最后回复 2015-01-23

Linux的进程ID一直在增加,怎么不会重复利用?

发表于 2014-04-04 最后回复 2014-04-04

使用ShellExecute调用WinRar压缩文件中的路径问题

发表于 2010-10-12 最后回复 2013-04-24

十万火急!100分求救:如果用VC程序实现dwg和dxf文件之间的相互转换

发表于 2010-09-14 最后回复 2013-02-03

c# 如何得到窗口中控件的句柄

发表于 2013-01-08 最后回复 2013-01-08

求助:webchart柱状图间距设置

发表于 2011-04-15 最后回复 2012-07-30

如何在窗口未创建的时候,改变对话框rc文件中窗口默认大小?

发表于 2011-01-19 最后回复 2012-07-17

程序的虚拟内存占用过高,能否将其降低?

发表于 2011-12-16 最后回复 2011-12-17

十万火急!100分贴无人回复:如果用VC程序实现dwg和dxf文件之间的相互转换

发表于 2010-09-15 最后回复 2011-11-17

Ftp FtpFileFind找到的中文文件路径是乱码,有些删除不成功?

发表于 2011-06-10 最后回复 2011-06-13

有谁知道中文字符 CStdioFile::WriteString失败的原因??

发表于 2011-05-05 最后回复 2011-05-06

新手的很菜的问题,接口与IP地址的困惑?

发表于 2011-03-30 最后回复 2011-04-06

构造函数编程习惯,到底值不值的?

发表于 2011-03-23 最后回复 2011-03-24

Html对齐问题,求帮助

发表于 2011-03-04 最后回复 2011-03-04

如何加载两个资源dll?

发表于 2011-02-15 最后回复 2011-02-16

服务程序如何在Windows未登录时以指定账户登录

发表于 2011-01-14 最后回复 2011-02-12

如何从CImageList对象中获取已加载的bitmap信息用于别处加载?

发表于 2011-01-26 最后回复 2011-02-11

关于ListCtrl图标的简单问题,散分跪求答案

发表于 2011-01-22 最后回复 2011-01-24

服务程序权限问题,启动solidwork程序

发表于 2011-01-13 最后回复 2011-01-13

(ShellExcute)如何延迟几秒后打开一个程序?

发表于 2010-12-10 最后回复 2010-12-14

关于map和Vector的效率问题(超级简单)

发表于 2010-11-03 最后回复 2010-11-04

悲剧!关于C++发送邮件。神呀,救救我吧,烧着给分,不够再添

发表于 2010-09-08 最后回复 2010-10-01

关于ROSE工具VC逆向时提示没有VC++IDE的问题?超弱智,在线等回复

发表于 2010-08-05 最后回复 2010-09-08

右键菜单残影消失慢,该怎么办

发表于 2010-07-30 最后回复 2010-08-05

重新播放另一flv文件,该如何加载,直接重新put_FlashVars()之后不起作用

发表于 2010-07-28 最后回复 2010-07-30

如何收拢主菜单(IDR_MAINFRAME),有无消息可用?

发表于 2010-07-08 最后回复 2010-07-13

菜单--“最近打开文件”的全路径显示问题

发表于 2010-07-05 最后回复 2010-07-09

如何在对话框中播放.flv格式文件

发表于 2010-07-05 最后回复 2010-07-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除