dai451954706的专栏

CDH File Descriptors告警解决

CDH clock offeset

今天一个同事在Hue中使用Hive 进行数据分析时，报错了，是因为在Hive sql中加了一个过滤条件，过滤条件的值中包含中文，错误如下:            一看到这个，自然就想到了字符编码的问题。    既然知道是编码问题，可是在哪里修改呢？    经过查阅了一些资料，找到了一种解决方法(新建sitecustomize.py文件):/usr/lib/python2.7/s

Spark Executor 报错 java.lang.StackOverflowError

最近在使用Hive是发现desc查看表时，注释中的中文都是一问号的形式显示。经过查资料知道，Hive的元数据时存储在Mysql中的，因此我们需要对Mysql中相关表的字符编码进行修改。特在此备忘：    Hiv默认情况下我们需要将数据库的编码设置为lanin1.      alter database hive character set latin1;   

今天在使用Idea编写代码测试时，点击Run之后，一直报错ClassNotFoundException，就连最简单的Hello world程序都是如此，一时之间，不知所措。Baidu、Google了一大堆，各种方法都尝试了，还是报一样的错误。甚至，我都把Idea卸载并重新安装了，错误仍然存在。    没办法，还得继续查找原因，于是继续搜索，查看各种可能性，并一个个尝试。忽然，在一个论坛中，看到

Spark on yarn 报错： Permission denied

Spark SQL将数据写入Mysql表的一些坑

蛇形矩阵(非方阵)的一种实现形式

Spark对(Key,Value)型数据进行排序，并取出Value值为前n的数据

Spark中sortByKey和sortBy对(key,value)数据分别 根据key和value排序

Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1 问题的解决过程分享

非托管依赖 为放在 lib 目录下的 jar 文件托管依赖 配置在构建定义中，并且会自动从仓库（repository）中下载非托管依赖大多数人会用托管依赖而非非托管依赖。但是非托管依赖在起步阶段会简单很多。非托管依赖像这样工作：将 jar 文件放在 lib 文件夹下，然后它们将会被添加到项目的 classpath 中。没有更多的事情了！你也可以将测试依赖的 jar

Markdown 编辑器语法指南基本技巧代码如果你只想高亮语句中的某个函数名或关键字，可以使用 `function_name()` 实现通常编辑器根据代码片段适配合适的高亮方法，但你也可以用 ``` 包裹一段代码，并指定一种语言```javascript$(document).ready(function () { alert('hello wor

Typical [enterprise] Java projects use multi-module Maven configuration. You have the parent pom.xml file at the root of your project and you refer to the modules from the parent pom.xml. The moti

Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor

Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker

今天在安装Hbase-1.1.2，配置文件检查了很多次，没有任何问题，但是发现slave上的HRegionServer总是启动失败，后来查阅日志，错误信息如下:  2016-01-02 20:15:53,145 INFO [regionserver/slave6/10.72.51.199:16020] regionserver.HRegionServer: STOPPED: Failed i