cdh
文章平均质量分 78
TracyGao01
保持专注
展开
-
CDH节点扩充
标题配置节点免密SSH1、生成私钥、公钥2、配置集群节点间免密ssh修改authorized_keys粘贴复制每台节点的pub key到authorized_keys(每台节点都需要操作)修改配置/etc/hosts3、测试验证配置java环境变量安装JDK环境1、下载安装包2、创建安装目录mkdir -p /usr/lib/jvm/3、解压安装tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/lib/jvm/配原创 2022-02-28 12:43:48 · 2228 阅读 · 0 评论 -
CDH配置企业微信预警
CDH:5.11原创 2020-05-10 21:01:02 · 939 阅读 · 0 评论 -
CDH 5.15.0 邮件预警设置
CDH版本:5.15.0目的:对集群运行情况进行监控测试邮箱:163操作步骤:配置Cloudera Management Service Cloudera Management Service -> 配置 -> 搜索框搜索邮件,配置如下 测试 邮箱查看 ...原创 2019-01-15 16:44:00 · 825 阅读 · 0 评论 -
HUE 集成 Apache Phoenix
写在前边:目的:从Hue Web UI 直接能够访问Apache Phoenix的数据适用:所有可以通过jdbc连接的数据库都可以采用以下这个流程,调整一下jdbc串及jar包即可 配置流程:1、添加notebook数据源非CDH版本:直接修改hue.ini配置文件,添加如下phoenix jdbc配置:[notebook] [[interpreters]] ...原创 2018-08-01 18:23:47 · 3052 阅读 · 5 评论 -
Ubuntu14.04下安装部署CDH5.11.0
写在前边:以下安装流程为CDH版本的集群安装流程,基本适用于所有CDH版本在ubuntu14.04下的安装一、服务器及相应安装包准备 三台4核8G的Ubuntu14.04服务器(内存最低8G) CDH安装文件准备 CDH-5.11.0-1.cdh5.11.0.p0.34-trusty.parcel CDH-5.11.0-1.cdh5.11.0.p0.34-trusty.par...原创 2018-08-09 20:55:26 · 588 阅读 · 0 评论 -
CDH Yarn资源队列划分管理
CDH Yarn资源队列划分管理场景:根据不同项目或不同用户,对yarn资源队列进行划分,达到资源管控,任务管控的目的 CDH版本:5.11.0配置: 1、 yarn资源队列参数设置: (1) yarn.scheduler.fair.user-as-default-queue false 根据图中中文解释可知,这个参数设置为false后,没有创建资源队列的用户,提交任务时,任...原创 2018-06-02 00:51:00 · 10808 阅读 · 1 评论 -
CDH 交换内存警告问题解决
1、echo 0 > /proc/sys/vm/swappiness 值设为0是尽可能不用交换内存2、swapon -s 查看交换内存使用情况 3、swapoff /dev/mapper/zt01–vg-swap_1 删除内存交换区,不再使用 4、在第三部删除内存交换区后,CDH主机信息界面交换空间变为空值栏 ...原创 2018-06-04 19:38:50 · 5805 阅读 · 0 评论 -
Spark升级,编译部署指定版本
背景:为满足需求,我们需要升级spark到2.2.1,并且hadoop版本要是CDH版本spark源码版本:2.2.1CDH版本:5.11.0参考:https://spark.apache.org/docs/latest/building-spark.html#building-for-scala-210 1、 下载spark官方源码 2、 ...原创 2018-04-26 14:39:26 · 1125 阅读 · 0 评论 -
Hue管理用户对于hive数据表的操作权限
Hue管理用户对于hive数据表的操作权限 1、 hue开通用户,只给该用户hive的访问权限http://blog.csdn.net/u012551524/article/details/79392439首先创建一个名pbdd的hue用户,给该用户hive的访问权限2、 hive权限控制1) 修改hive的配置项,在hive-sit...原创 2018-03-22 16:11:41 · 14742 阅读 · 4 评论 -
CDH hue用户权限管理,给用户hive权限
给用户所属用户组勾选上如下权限选项,方可访问hiveDB Query权限如下:开通后即生效!原创 2018-02-27 19:46:37 · 15165 阅读 · 6 评论 -
hadoop集群节点暴力删除后,hdfs异常处理
测试集群暴力删除5个节点之后,会出现hdfs异常问题,导致hive,hbase异常:1、hdfs推出安全模式hadoop dfsadmin -safemode leave2、hdfs数据块丢失hdfs fsck / -delete 删掉丢失块儿原创 2018-01-08 11:19:53 · 597 阅读 · 0 评论 -
hue——hbase、hive的使用
hue入口:http://hue服务器地址:8888/about/hue默认端口号8888账号:xxxx密码:xxxxhue作用,提供给大数据用户一个web端,访问大数据集群1、 hbase web端的使用l hbase hue入口如图,data browsers选项中会有hbase选项,直接点进去就好 l 点进来后会看到我们集群hbase中的所有...原创 2017-12-28 09:50:20 · 9150 阅读 · 0 评论 -
CDH集群对外需要开放的端口整理
一个CDH集群对外开放的端口有哪些?哪些是必须对外开放的端口?那些是按需开放的?哪些是生产上线是需关闭的?下面是一些初步的接口整理: ServicePort REMARKHOSTNAMEAdmin Console 的 HTTP 端口7180对外/对内Spa原创 2017-12-24 20:36:47 · 12490 阅读 · 2 评论 -
记:Hbase一次令人头疼的宕机
宕机前日志:(分析集群在做什么) 图一:上图是hbase节点挂掉之前1秒的日志,由日志可以看出系统是在做compaction,也就是hbase底层数据原文件的合并,包括无效数据文件的删除,新增数据文件合并图二:从上边这幅图可以看出,同时在做合并删除的表不只一张,compaction是非常耗时切工作时很耗资源的操作,并且在做compaction时RS(Region ...原创 2017-10-30 17:36:05 · 1313 阅读 · 0 评论 -
Hbase RegionServer简单调优(GC)
Full GC会导致hbase假死,hbase读写数据延迟,严重导致hbase与zookeeper失联,导致hbase regionserver挂掉解决:(1) 合理分配RegionServer的jvm内存,如果集群资源允许,可适当调大,这是最直接的(2)适当调整RegionServer处理请求的并发线程数,根据实际情况通过降低线程并发,来降低GC的压力 (3)打散reg...原创 2017-10-17 18:19:22 · 2597 阅读 · 0 评论 -
CDH 安装spark后,spark-shell启动报错
CDH 装完spark后如果启动spark-shell遇到如下错误:需要给spark配置java环境变量vi/opt/cloudera-manager/cm-5.11.0/lib/cmf/service/client/deploy-cc.sh直接添加环境变量 ...原创 2017-09-20 17:53:48 · 1929 阅读 · 0 评论 -
CDH元数据的主从备份
目的:对CDH集群做数据备份,切主从同步环境:OS:Ubuntu14.0 (两台机器 :主从)DB:mysql步骤:1:主库元数据迁移(1) 锁库,备份期间防止元数据变化(一定要做,不然后续主从同步会有坑)FLUSH TABLES WITH READ LOCK;(2) 导出元数据:(数据库中的表结构及数据)mysqldump-uroot –p am...原创 2017-09-18 16:15:50 · 1432 阅读 · 0 评论 -
CDH 集群定期清理指南
1、清除hdfs回收站2 、 清空spark任务执行历史记录hadoop fs -ls /user/spark/applicationHistory清掉后再把回收站清理一下3、cloudera manager清理装cm的机器:/var/lib 路径下有如下文件:主要清理cloudera-host-monitor 、cloudera-service-monito...原创 2017-09-15 18:58:08 · 4570 阅读 · 1 评论