Qi.zheng

Spark On Yarn执行中executor内存限制问题15/10/16 16:56:04 INFO RMProxy: Connecting to ResourceManager at InterFinance01/10.238.18.80:803215/10/16 16:56:04 INFO Client: Requesting a new application from cl

系统环境准备查看及卸载系统自带OPEN-JDK（所有节点）查看系统是否自带OPEN-JDK命令：java –versionjava version "1.6.0"OpenJDK Runtime Environment (build 1.6.0-b09)OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode)  出现上述

报错如下：Exception in thread "main" org.apache.flume.FlumeException: NettyAvroRpcClient { host: xxxx, port: xxxx}: RPC connection error解决方法：把bind指定为主机名或ip(非127.0.0.1或0.0.0.0)实例如下：# Describe/co

#flume-ng 初始配置bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console#agent 启动的进程为agent进程#conf  指定flume-env.sh和log4j.properties的路径#conf-file  指定agent

ClouderaManager安装hive后用root用户启动执行sql报以下错误：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied: user=root, access=WRITE, inode="/us

Cloudera 安装Oozie过后进入Oozie的管理界面时提示要安装ExtJs才能使用。这里写出安装过程：1.下载ExtJs的包wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip2.解压包到/tmp下面unzip ext-2.2.zip -d /tmp3.使用oozie用户把ext-2.2文件夹复制到/var/

Cloudera安装Hue过后，第一次登录时会提示输入任意的用户名，密码作为超级用户但可能第一次登录很随意输入一个，下次登录时忘记了，以下提供解决方法在Cloudera的Hue配置页面中找到Hue的相关数据库配置方法一：1.通过Cloudera页面停止Hue并删除Hue服务2.然后根据配置登入数据库，删除hue数据库3.然后重新安装Hue，再次登录时就会再次输入

HADOOP集群，以及其它相关的集群如HBase是用Cloudera搭建的，那么就要配置相应的Cloudera的开发环境，接下来会以开发HBase的Coprocessor为例：其部署集群使用的Cloudera为5.2.4以下是基本的步骤：1.在maven的pom.xml文件中加入cloudera的maven仓库：（红色部分）clouderahttps://repos

做这一件事情的原因： 1.公司的内部的服务器仅有一台可以连接到外网。 2.即使每一台都能联网，但是都用yum来直接安装则会出现重复下载，效率不高。 所以出了以下方案可以快速搭建一个ClouderaManager的管理集群。 解决方法如下： 1.配置ClouderaManager的yum源（在可联网的机器上）cd /etc/yum.repos.d/wget https://archive.