CDH
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
在centos7离线安装CDH5.15
一、配置hostname和hosts1. 三台机器分别设置hostname为(需要重启ECS):master.bd.cn slave1.bd.cn slave2.bd.cn2. 然后三台的/etc/hosts统一配置如下映射:<master.bd.cn的内网IP> master.bd.cn<slave1.bd.cn的内网IP> slave1.bd....原创 2018-08-14 16:04:16 · 5446 阅读 · 1 评论 -
hbase报错以及解决方案
HBase启动出现问题报错一1.1错误org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/MasterProcWALs/state-00000000000000000011.log could only be replicated to 0 nodes instead of minReplicati...原创 2018-12-12 03:22:58 · 4329 阅读 · 0 评论 -
CDH增加新的节点,扩容DataNode报错
可能出的错1 Hive还是Hue启动不起来, 提示ImportError: libxslt.so.1 ... 其实真正的错是缺少libxml2. 但是用yum install libxml2并不能解决的, 要用yum install libxml2-python2 Hue起不来还有一个可能是没有装libxslt, 请用yum install libxslt.x86_643 HDFS或...原创 2018-12-10 14:35:06 · 1162 阅读 · 0 评论 -
CDH增加新节点
新增一台机器步骤: 设置所有集群的hosts一样,加入新增的机器 vim /etc/sysconfig/network 修改hostnmae为aaa hostname aaa cp cloudera-manager-el5-cm4.6.2_x86_64.tar.gz 到新增的机器上 安装jdk环境,最好jdk版本统一,参考此处 ...原创 2018-12-07 15:59:41 · 3171 阅读 · 0 评论 -
CDH中hue配置hbase
直接访问地址https://blog.csdn.net/jmx_bigdata/article/details/83146864原创 2018-12-07 15:58:22 · 2392 阅读 · 0 评论 -
CDH集群yarn内存调优
原文地址:http://blog.selfup.cn/1631.html?utm_source=tuicool&utm_medium=referral 吐槽 最近“闲”来无事,通过CM把vcores使用情况调出来看了一眼,发现不论集群中有多少个任务在跑,已分配的VCores始终不会超过120。而集群的可用Vcores是360(15台机器×24虚拟核)。这就相当于CPU资源...原创 2018-12-06 11:10:13 · 5592 阅读 · 1 评论 -
hadoop所有版本的下载地址
Apache的hadoop下载地址地址:https://archive.apache.org/dist/hadoop/common/CDH的hadoop下载地址地址:http://archive.cloudera.com/cdh5/cdh/5/ 下载案例首先找到下载的地址,然后再后面加上.tar.gz就可以下载了CDH的下载工具都在http://archive.cloud...原创 2018-11-22 19:00:00 · 9680 阅读 · 0 评论 -
cdh中在线安装及使用Phoenix
1.1: 下载CDH 需要parcel包下载地址: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3...原创 2018-11-09 10:56:10 · 1280 阅读 · 0 评论 -
kafka manger最方便的安装教程,与cdh中的kafka绝配
一、kafka-manager 功能简介1.管理多个kafka集群2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)3.选择你要运行的副本4.基于当前分区状况进行5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topi...原创 2018-10-23 19:45:44 · 303 阅读 · 0 评论 -
yarn资源调度参数配置(内存,cpu)
Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceMan...原创 2018-10-25 11:05:11 · 1423 阅读 · 0 评论 -
cdh集群中添加新主机
1、新加机器环境配置首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。2、上传cloudera-manager文件到/opt目录,修改agent配置文件:vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.iniserver...原创 2018-10-17 17:30:40 · 7904 阅读 · 3 评论 -
CHD搭建的环境中,解决用户权限的问题
对CDH用户:对于文件夹/user,注意,这个文件夹的拥有者不是所谓的“root”。实际上,这个文件夹为“hdfs”所有(755权限,这里将hdfs理解为一个属于supergroup的用户)。 所以,只有hdfs可以对文件夹进行写操作。与Unix/Linux不同,hdfs是超级使用者(superuser),而不是root。 因此更改其权限为root。所以,你可以向这个文件夹随意的存、...原创 2018-08-23 21:21:02 · 589 阅读 · 0 评论 -
CDH内存分配参考
基于以下环境提供参考值: 5台内存32G、cpu8核的服务器,操作系统为centos6.8 总内存: 160G 总核数: 40核 不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么:值= 推荐值 X 系数hdfs参数 解释 值 NameNode 的 Java 堆栈大小 Java 进程堆栈内存的最大大小,改Java进程主要是:维护整个系统的的文件...原创 2018-08-22 20:08:31 · 8483 阅读 · 2 评论 -
CDH5.15.0升级spark2服务
严格来说不是将spark1.6升级到spark2.3,而是安装一个新的spark2.3一、JDK1.7升级到JDK1.8由于之前CDH中安装了spark1.6,为了适配,我安装jdk1.7,但是在spark2.3中jdk1.7的支持已经被移除了,所以我们第一件事需要将jdk版本升级到jdk1.81、停掉所有节点的cloudera manager/opt/cm-5.15.0/etc...原创 2018-08-22 17:18:41 · 3821 阅读 · 2 评论 -
用flume从日志服务器中实时抽数据的案例
日志服务器flume配置文件# example.conf: A single-node Flume configuration# Name the components on this agent# The name of the agent is defined as a1.a1.sources = r1a1.sinks = k1a1.channels = c1# Descr...原创 2018-08-22 15:46:53 · 646 阅读 · 0 评论 -
Kafka 集群(用CM部署的)无法使用“--bootstrap-server”进行消费
使用--bootstrap-server参数无法消费Kafka种的数据1>.启动生产者kafka-console-producer --broker-list hadoop6:9092 --topic bbb2>.启动消费者拿不到数据kafka-console-consumer --bootstrap-server 192.144.170.156:9092 --topi...原创 2018-12-18 15:30:55 · 2351 阅读 · 2 评论