CDH
文章平均质量分 67
叁木-Neil
这个作者很懒,什么都没留下…
展开
-
cdh5.8.0 flume+kafka用户行为日志数据采集方案详解
一、日志模拟1.1 模拟日志生成java -classpath /data/opt/module/log-produce.jar com.lsl.appclient.AppMain >/data/opt/module/test.log二、flume数据采集2.1 Flume安装2.1.1 日志采集Flume安装1)添加服务2)选择Flume,点击继续3)选择节点4)完成...原创 2019-12-17 10:24:31 · 1933 阅读 · 0 评论 -
CDH 禁用Kerberos配置详解
CDH 禁用Kerberoshue配置:Kerberos Ticket Renewer Process Health Test:falseZookeeper配置:enableSecurity (Enable Kerberos Authentication):falsezoo.cfg配置:skipACL: yesHDFS配置:hadoop.security.authenticatio...原创 2019-07-26 22:32:08 · 1034 阅读 · 0 评论 -
CDH spark客户端安装错误
CDH客户端安装错误一、问题描述在安装Spark客户端时有两台机器安装成功但是有一台安装失败,并报错退出。二、问题解决思路查看启动日志。发现启动失败的那台机器调用jdk时失败三、解决思路spark安装客户端时没有去找环境变量中的jdk,而是找的/usr/java目录下的所以只需要把jdk路径软连接到 /usr/java/default目录下(如果没有default目录则创建)...原创 2019-07-24 22:39:51 · 570 阅读 · 0 评论 -
CDH动态资源池配置
动态资源池配置Yarn默认有三种调度器——FIFO、Capacity以及Fair Scheduler,CDH推荐使用Fair Scheduler。通过动态资源池的Web UI,我们可以十分方便的配置Fair Scheduler。1)点击群集→动态资源池配置进入动态资源池的配置界面2)动态资源池配置——资源池动态资源池采用树形结构,与Fair Scheduler的队列保持一致,任务只能提交...原创 2020-04-26 20:18:27 · 2180 阅读 · 0 评论 -
CDH entropy available 问题解决
CDH entropy was available 问题解决问题描述:CDH 集群启动一段时间后总是会出现 Entropy 不良问题,问题截图如下:解决:查询系统熵值大小cat /proc/sys/kernel/random/entropy_avail安装 rng-tools 工具yum install rng-tools修改 /etc/sysconfig/rngd...原创 2020-04-26 20:12:25 · 992 阅读 · 2 评论 -
CDH 启用hdfs高可用后hue无法访问hdfs
CDH 启用hdfs高可用后hue无法访问hdfs问题描述:再启用hdfs的namenode高可用时再点击hue上的filebrowser时,无法访问hdfs目录,报错问题如下:解决:原创 2020-04-26 20:07:55 · 1016 阅读 · 1 评论 -
CDH5.15.0安装
CDH5.15.0安装文档一、基础环境1.1 软件环境NO.软件名称版本1.操作系统Centos7.6 64 位2.JDKjdk-8u191-linux-x643.Clouder Manager5.15.04.CDH5.15.05.数据库mysql57-community-release-el7-8.noarch...原创 2019-06-16 20:14:42 · 1294 阅读 · 0 评论