2016年07月_sparkexpert

原创 spark 2.0.1（技术预览版）的编译与测试（附一些新特性的介绍）

spark 2.0的预览版在前几个月已经吵得沸沸扬扬，趁着今天一起编译了下这个版本，还是非常方便的。这回采用MVN来进行编译，具体见官网的编译帮助。Building with build/mvnSpark now comes packaged with a self-contained Maven installation to ease building an

2016-07-18 16:21:08 1541

原创 Waiting for lock on */.ivy2/.sbt.ivy.lock to be available问题的解决

在进行SBT编译过程中，经常会碰到这样的问题。。。Waiting for lock on */.ivy2/.sbt.ivy.lock to be availableWaiting for lock on */.sbt/boot/sbt.boot.lock to be available...针对这种问题，其原因是同时开启了多个终端进行SBT的编译，才导致

2016-07-18 15:58:43 15436

原创 Hbase的后缀过滤查询

HBase原生自带了对RowKey的很多种查询策略。通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。其API中提供的Filter大致如下：CompareFilter是高层的抽象类，下面我们将看到他的实现类和实现类代表的各种过滤条件

2016-07-18 15:31:04 9030

原创太多的.hive-stagingxxx文件的处理

跑一段时间的HIVE程序之后，偶尔打开对应的HDFS文件夹，才发现在其目录下，产生了太多的.hive-staging_hive_date-time_ XXX文件。仔细一看，才发现几乎每个HIVE的查询语句都会产生这样的一个文件，这种文件会随着时间积累不断增加。这也是前段时间造成HDFS目录到项的原因之一。查了网上的相关说明，也没有比较好的说明，可能这是基于任何一

2016-07-15 16:34:53 7431

原创 ubuntu远程访问win7登录后语言为繁体字的解决办法

用ubuntu远程访问win7后，发现登录后语言为繁体字，这个还是比较烦人的，网上找到了一个解决办法，在此记录一下。以后肯定还会再用到。在win7电脑上进行修改一下注册表：在终端服务器上单击开始、单击运行、键入 regedit，然后单击确定。找到并单击以下注册表子项：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet

2016-07-14 11:40:38 707

原创 the directory item limit is exceed: limit=1048576问题的解决

当spark流式数据分析处理跑了一段时间之后，突然会出现报错，如下：意思就是目录超过了HDFS的文件个数限制。然而这个问题网上真的不太好找，在定位一番之后，终于明确就是HDFS本身的容量限制问题，而这个正常在配置里面是没有的，只有新增加一行配置才能生效，否则就是按照默认的1048576来处理。 dfs.namenode.fs-limits.

2016-07-07 17:29:56 5515

原创 C＃ webbrowser爬虫中经常碰到的脚本错误弹出窗口的问题解决

在爬虫过程中，经常会碰到脚本错误的提示窗口。网上有关于这个错误的好多解决办法。后来终于测试成功。其实现如下：　　　//## 这边把脚本错误的压制设置为true. this.webBrowser1.ScriptErrorsSuppressed = true; this.webBrowser1.Docu

2016-07-05 23:04:11 3871 1

大数据挖掘SparkExpert的博客