- 博客(185)
- 资源 (3)
- 收藏
- 关注
原创 Hue中Hive editor中文报错
今天一个同事在Hue中使用Hive 进行数据分析时,报错了,是因为在Hive sql中加了一个过滤条件,过滤条件的值中包含中文,错误如下: 一看到这个,自然就想到了字符编码的问题。 既然知道是编码问题,可是在哪里修改呢? 经过查阅了一些资料,找到了一种解决方法(新建sitecustomize.py文件):/usr/lib/python2.7/s
2017-06-26 15:04:38 3080
原创 Spark Executor 报错 java.lang.StackOverflowError
Spark Executor 报错 java.lang.StackOverflowError
2017-06-22 17:51:30 7859
原创 Hive表中文注释乱码
最近在使用Hive是发现desc查看表时,注释中的中文都是一问号的形式显示。经过查资料知道,Hive的元数据时存储在Mysql中的,因此我们需要对Mysql中相关表的字符编码进行修改。特在此备忘: Hiv默认情况下我们需要将数据库的编码设置为lanin1. alter database hive character set latin1;
2017-06-21 12:05:13 3938
原创 Idea 中JDK版本设置问题导致ClassNotFoundException错误的一种原因
今天在使用Idea编写代码测试时,点击Run之后,一直报错ClassNotFoundException,就连最简单的Hello world程序都是如此,一时之间,不知所措。Baidu、Google了一大堆,各种方法都尝试了,还是报一样的错误。甚至,我都把Idea卸载并重新安装了,错误仍然存在。 没办法,还得继续查找原因,于是继续搜索,查看各种可能性,并一个个尝试。忽然,在一个论坛中,看到
2017-05-07 00:02:22 12618 2
原创 Spark on yarn 报错: Permission denied
Spark on yarn 报错: Permission denied
2016-11-04 16:56:43 6063 1
原创 Spark取出(Key,Value)型数据中Value值为前n条数据
Spark对(Key,Value)型数据进行排序,并取出Value值为前n的数据
2016-09-26 15:33:18 15780 3
原创 Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序
Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序
2016-09-23 10:30:00 32862 6
原创 Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1
Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1 问题的解决过程分享
2016-09-14 14:57:16 11434
转载 SBT编译入门
非托管依赖 为放在 lib 目录下的 jar 文件托管依赖 配置在构建定义中,并且会自动从仓库(repository)中下载非托管依赖大多数人会用托管依赖而非非托管依赖。但是非托管依赖在起步阶段会简单很多。非托管依赖像这样工作:将 jar 文件放在 lib 文件夹下,然后它们将会被添加到项目的 classpath 中。没有更多的事情了!你也可以将测试依赖的 jar
2016-01-07 22:14:12 4279
转载 Markdown 编辑器语法指南
Markdown 编辑器语法指南基本技巧代码如果你只想高亮语句中的某个函数名或关键字,可以使用 `function_name()` 实现通常编辑器根据代码片段适配合适的高亮方法,但你也可以用 ``` 包裹一段代码,并指定一种语言```javascript$(document).ready(function () { alert('hello wor
2016-01-07 22:07:48 680
转载 Maven to SBT
Typical [enterprise] Java projects use multi-module Maven configuration. You have the parent pom.xml file at the root of your project and you refer to the modules from the parent pom.xml. The moti
2016-01-07 21:49:40 1097
原创 Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor
Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor
2016-01-07 14:08:09 13718 1
原创 Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法
Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法
2016-01-06 18:16:50 2524
原创 Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
2016-01-05 18:04:53 43315 40
原创 Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker
Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker
2016-01-04 17:48:20 8770 2
原创 Hbase 启动失败htrace
今天在安装Hbase-1.1.2,配置文件检查了很多次,没有任何问题,但是发现slave上的HRegionServer总是启动失败,后来查阅日志,错误信息如下: 2016-01-02 20:15:53,145 INFO [regionserver/slave6/10.72.51.199:16020] regionserver.HRegionServer: STOPPED: Failed i
2016-01-02 21:17:41 3977
原创 Idea使用系统自带的sbt,并自定义repositories
最近在使用Idea + Scala + sbt (Macbook)做一些开发测试,但是由于默认使用国外的源,导致下载速度奇慢无比,所以想修改默认的repositories,但是怎么样才能修改默认的repositories并在Idea中使用修改后的配置呢?经过一天的折腾,总算是知道怎么新修改了,故在此备忘,也希望能帮助一些同学少走弯路。 在这一篇博客:http://blog.csdn.net
2015-12-25 23:24:16 14276 3
原创 Spark 提交任务时,报: Invalid signature file digest for Manifest main attributes
Spark 提交任务时,报: Invalid signature file digest for Manifest main attributes
2015-11-28 19:26:22 22985 6
原创 Scala 读取网页数据测试及备忘
最近在学习Scala,发现Scala确实很简洁、强大。用Scala居然可以直接像打开本地文件一样读取网页内容,确实很方便,但是稍不注意也会容易出错。以下就是我的学习记录: Scala中文件读取操作在scala.io.Source包中,读取文件为: Source.fromFile("test.txt") 很方便,简洁,读取文件没有任何问题; 但是,我想使用Sou
2015-11-11 22:52:26 1393
原创 Spark on yarn Container beyond virtual memory limits
Spark on yarn Container beyond virtual memory limits
2015-09-30 15:21:35 4125
原创 Word公式和文字的显示位置调整
最近在写论文,总是在插入一些公式后发现公式跟文字的显示变得不太正常,要么公式显示比文字要低,要么文字后面的文字显示偏高。下面是我的调整方法,在此记录并备忘。 编辑前的显示如下:在高级选项里:位置下拉列表中改为标准:显示正常啦:
2015-09-22 16:23:00 7221
原创 Ubuntu 15.04 下 Docker 1.7.1 中DOCKER_OPTS配置不生效的解决
Ubuntu 15.04 下 Docker 1.7.1 中DOCKER_OPTS配置不生效的解决
2015-08-05 12:27:36 2740
原创 ubuntu / Ubuntu Kylin下安装和卸载 Nodepadqq
在WIndows下用惯了notepad++,Ubuntu默认 的图形化编辑器gedit,又感觉不太还看,功能也不强大,最蛋疼的时就连vim的上下左右键都不能正常使用,所以打算安装类似notepad的软件. 对于Ubuntu发行版本可以通过PPA安装,命令如下: sudo add-apt-repository ppa:notepadqq-team/notepadqq
2015-07-09 13:03:11 2010
原创 Spark Streaming 报错:NoSuchMethodError: scala.Predef$.ArrowAssoc
Spark Streaming 报错:NoSuchMethodError: scala.Predef$.ArrowAssoc 的解决办法及思路
2015-05-27 09:49:57 14107 1
原创 awk加Sort实现对前N-1个字段作Key,最后一个字段作Value的排序
awk和sort 实现将前面的N-1个字段作为Key,最后一个字段做Value,并根据Value排序
2015-05-16 21:42:11 1752
原创 Flume 1.5.2 日志中出现agent-shutdown-hook ,然后结束进程
Flume 1.5.2 日志中出现agent-shutdown-hook ,然后结束进程,原因查找及源码分析,目前还没有完全弄懂,希望高手指点!
2015-04-09 18:13:40 5640 4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人