CDH安装
文章平均质量分 86
小驴淘米666
这个作者很懒,什么都没留下…
展开
-
ssh 免密码设置失败原因总结
先复习一下设置ssh免密码操作的步骤:进入主目录cd生成公钥ssh-keygen -t rsa -P '' (注:最后是二个单引号,表示不设置密码)然后分发公钥到目标机器ssh-copy-id -i ~/.ssh/id_rsa.pub 用户名@对方机器IP (注意不要忘记了参数-i)注:ssh-copy-id -i 是最简单的办法,如果不用这转载 2017-09-13 10:57:46 · 313 阅读 · 0 评论 -
Permission denied: user=mapred, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x
yarn 启动异常:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=mapred, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x...原创 2018-07-21 10:34:32 · 2406 阅读 · 0 评论 -
Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
HbaseMaster无法启动先检查hdfs下是不是有/hbase ,如果没有先新建/hbase,新建后更改权限1.hdfs dfs -ls /2.hdfs dfs -mkdir /hbase3.hdfs dfs -chmod 777 /hbase4.重启Hbase...原创 2018-07-21 10:30:51 · 2090 阅读 · 0 评论 -
org.apache.hadoop.hbase.TableExistsException: hbase:namespace
原因是由于hdfs的重新建立/hbase文件夹后zookeeper还保留着上一次的Hbase设置,所以造成了冲突因此进入zookeeper删除hbase文件使用zookeeper-client进入zookeeper shell,然后 ls / ,rmr /habse ,最后重启...原创 2018-07-21 10:26:34 · 1719 阅读 · 0 评论 -
datanode 由于和namenode版本不一致无法启动问题
报错日志:Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to bigdata1/10.5.46.201:8022. Exiting. java.io.IOException: All specified directories are failed to ...原创 2018-07-21 09:52:31 · 1263 阅读 · 0 评论 -
Hive Metastore 创建数据库失败
HMSHandler Fatal error: javax.jdo.JDODataStoreException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '...原创 2018-07-21 09:06:17 · 7764 阅读 · 1 评论 -
cloudera search1.0.0环境搭建(1):搭建solrcloud
本文基于Cloudera Manager5.0.0,所有服务基于CDH5.0.0 parcel安装。CM 安装solr是非常方便的,在集群上添加服务就行了,solrcloud需要zookeeper集群的支持,所以添加solr服务之前,先添加zookeeper服务。在此不赘述。本文从添加好solr服务之后开始说起,我有4个主机,所以添加solr服务的时候我添加了4个solr server,每台主机一...转载 2018-06-29 23:18:17 · 225 阅读 · 0 评论 -
离线部署CDH5.3.3
下载离线包:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64.tar.gzhttp://archive.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcelhttp://archive.cloudera.com/cdh5...原创 2018-06-25 09:33:26 · 460 阅读 · 0 评论 -
CDH添加kafka
安装 Kafka 组件配置 Kafka parcel 包在 Web 页面中,主机 -> Parcel 里面会列出当前集群以配置和分配的 parcel 包,目前只配置了 CDH5,Kafka 单独存在于其他 parcel 包中,所以需要单独加载 parcel ,然后分配到集群内各节点。 Cloudera官方Kafka组件的parcel包下载地址为:http://archive.cloude...原创 2018-03-24 13:10:27 · 1960 阅读 · 0 评论 -
CDH spark启动spark-shell报错:Permission denied: user=root, access=WRITE, inode="/user"
1、对非CDH用户,到Namenode上修改hadoop的配置文件:conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false<property><name>dfs.permissions</name><value>false</value><descriptio...转载 2018-03-01 19:37:48 · 3673 阅读 · 0 评论 -
CDH 5.12.1 离线部署指南
CDH 5.12.1离线部署指南(附spark2.2.0集成指南)由于国内的网络原因,CDH在国内几乎无法实现在线安装,本文将介绍CDH离线安装方式,所有安装包下载后传输到内网安装,由于版本较新的原因,安装过程的坑还是很多的,在此记录一下。一、 硬件说明一共6台节点:master:32.31.104.159slave1:32.31.104.161slave2:32.31.104.162...转载 2018-02-27 20:44:51 · 561 阅读 · 0 评论 -
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务转载 2017-09-08 14:16:42 · 566 阅读 · 0 评论 -
CDH 5.3.3离线安装
三台服务器构成的小集群离线部署CDH5.3.3下载离线包:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64.tar.gzhttp://archive.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel...原创 2018-07-21 10:47:59 · 796 阅读 · 0 评论