cdh
文章平均质量分 57
_东极
少年锦时
展开
-
Yarn的job history无法启动
cdh yarn 组件修复原创 2022-09-05 16:47:51 · 454 阅读 · 1 评论 -
(二)kudu,sentry,hue,hdfs,hbase基本配置
安装Sentry官网:https://www.cloudera.com/documentation/enterprise/5-11-x/topics/sg_sentry_service_config.html修改hive主目录权限[root@note01 cdh5.16.2]# sudo -u hdfs hdfs dfs -chmod -R 771 /user/hive/warehouse...原创 2020-02-12 11:31:29 · 889 阅读 · 0 评论 -
(一)离线快速部署cdh5.16.2
文章目录阿里云机器购买阿里云机器购买购买云ESC,选择按量付费并且为按量付费,对于按量付费,在不使用集群的情况下进行停机操作,收取较少的费用选择区域靠近自己办公区域,并且可用区为同一区域,购买三台2核16G阿里云服务器下一步选择自定义密码创建实例登录服务器,修改合适主机名vim /etc/sysconfig/network修改完成重启reboot...原创 2020-02-10 16:21:08 · 982 阅读 · 0 评论 -
集群升级oozie以及sentry无法启动
sentry问题:进入cdh的sentry页面,选择下拉箭头,选择创建数据库,创建完成重启即可oozie问题:在oozie界面,点击安装oozie共享库即可,创建完成重启既可原创 2019-12-26 00:41:49 · 341 阅读 · 0 评论 -
CDH基础环境搭建
文章目录简介架构搭建免密登陆配置集群同步脚本安装JDK(三台)集群整体操作脚本安装mysql,存储元数数据创建CM用的数据库下载第三方依赖永久关闭SELINUX简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具,使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。架构(1)Cloudera...原创 2019-07-20 12:38:04 · 576 阅读 · 0 评论 -
CM安装
文章目录CM的安装部署CM安装:修改CM Agent配置配置CM的数据库使用CM自带的脚本,在MySQL中创建CM库分发cm创建Parcel-repo服务节点启动集群中的机器工作节点全部启动CM的安装部署CM下载地址: http://archive.cloudera.com/cm5/cm/5/离线库下载地址: http://archive.cloudera.com/cdh5/parcels...原创 2019-07-21 16:37:11 · 1262 阅读 · 0 评论 -
cdh中配置hadoop支持LZO
文章目录关闭HDFS中的权限检查:dfs.permissions。配置Hadoop支持LZO压缩关闭HDFS中的权限检查:dfs.permissions。配置Hadoop支持LZO压缩点击主机,在下拉菜单中点击Parcel,默认是没有的,再点击右上角的配置找到远程Parcel存储库URL,点击最后一栏的加号,增加一栏,输入http://archive.cloudera.com/gplext...原创 2019-07-21 17:00:37 · 1019 阅读 · 3 评论 -
CDH中Flume的基本安装
文章目录添加服务日志采集Flume配置启动Flume添加服务选择所有节点然后完成日志采集Flume配置Flume直接读log日志的数据,log日志的格式是app-yyyy-mm-dd.log。两台Flume生产一台消费.如果直接点击配置,配置的是所有集群中的Flume点击Flume中的实例点击Agent在这里点击配置,只配置hadoop001的,修改配置中Agent为a1,...原创 2019-07-21 17:27:25 · 2693 阅读 · 0 评论 -
CDH中kafka配置
文章目录导入离线包开始安装flume消费kafka数据到hdfs上导入离线包主节点创建/opt/cloudera/csd目录mkdir -p /opt/cloudera/csd上传KAFKA-1.2.0.jar到/opt/cloudera/csd目录,并修改所有者和所有者的组[root@hadoop001 csd]# chown cloudera-scm:cloudera-scm ...原创 2019-07-21 19:48:08 · 6390 阅读 · 2 评论 -
CDH中Hive,Oozie,Hue安装
文章目录Hive安装Oozie安装Hue安装Hive安装选择服务–>选择hive–>设置选择默认测试成功–>继续设置hive支持LZO压缩在配置中搜索"Hive 辅助"/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/重启服务Oozie安装选择服务–>选择Oozie–>选择带hive的hdfs...原创 2019-07-21 20:13:54 · 462 阅读 · 0 评论 -
cdh简单用户行为数仓使用
文章目录ODS层数据DWD层数据DWS层ADS层ODS层数据drop table if exists ods_start_log;CREATE EXTERNAL TABLE ods_start_log (`line` string)PARTITIONED BY (`dt` string)STORED AS INPUTFORMAT 'com.hadoop.mapred.Deprecat...原创 2019-07-21 20:43:29 · 712 阅读 · 0 评论 -
CDH中Oozie基于Hue实现GMV全流程调度
文章目录执行前的准备在Hue中创建Oozie任务GMV执行前的准备[root@hadoop001 bin]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/...原创 2019-07-22 00:17:54 · 706 阅读 · 0 评论 -
cdh中Impala和spark2的安装
文章目录impalaspark2页面操作回到首页点击添加服务impala选择添加服务,一直下一步,然后启动,在hue配置搜索impala保存更改即可spark2上传文件SPARK2_ON_YARN-2.1.0.cloudera1.jar到/opt/cloudera/csd/下面上传文件SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.pa...原创 2019-07-22 00:37:46 · 509 阅读 · 0 评论