![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 77
网红猪
猪猪好懒
展开
-
使用iptables实现主机防火墙隔离
#打开主机防火墙iptables -P -INPUT DROP#集群内部iptables -A INPUT -s $ip -j ACCEPT#外部系统访问限制iptables -A INPUT -s $ip -p tcp -m multiport –dport 25,111,2049,2181,3181,3306,3306,4181,4242,7191,7337,8020,8022,8030,8031,8032,8033,8040,8042,8044,8088,8090,8480,8481,848原创 2021-03-14 18:57:34 · 668 阅读 · 0 评论 -
Cloudera Manager和CDH minor版本 tar包升级方案
Cloudera Manager和CDH minor版本 tar包升级方案目录Cloudera Manager和CDH minor版本 tar包升级方案1 概述2 升级准备工作2.1 停止CM服务以及各个组件服务2.2 数据库节点上备份Cloudera Manager数据库2.3 namenode节点备份元数据3 CM升级3.1 所有节点上传cm安装包3.2 解压3.3 所有节点的config.ini指向cloudera-scm-server节点3.4 cloudera-scm-server节点配置 db原创 2021-03-14 18:56:46 · 436 阅读 · 0 评论 -
CDH节点宕机后HDFS和YARN高可用切换演练
CDH节点宕机后HDFS和YARN高可用切换演练一、 背景及目标为保障CDH集群的高可用,提升CDH运维经验,实施本次CDH主节点和主节点宕机后的高可用切换演练。主节点和子节点组件分配如下:模拟bjhtom-ap-bigData-flink102主节点以及bjhtom-ap-bigData-flink105子节点的宕机。二、 内容停止bjhtom-ap-bigData-flink105子节点所有组件停止bjhtom-ap-bigData-flink102 主节点所有组件(包括CDH管理组原创 2021-03-14 18:56:01 · 580 阅读 · 0 评论 -
Flink1.9.0升级到Flink1.12.2
写在前面Flink1.12.X版本相比较之前版本,在安装不上存在差异。先说一下本次测试环境:操作系统:CentOS 7.4CM/CDH版本:CM5.15.2/ CDH5.15.2我们使用CDH作为hadoop集群的管控平台,而Flink1.9.0不支持CDH版hadoop,需要使用mvn构建1.9.0-cdh的安装包。1.11.0以后版本,已兼容hadoop2/3各版本,无需再根据hadoop版本自行编译。在官方网站下载对应安装包,运行时指明hadoop版本即可。除了安装上的差异外,有不少原创 2021-03-14 18:55:29 · 787 阅读 · 0 评论 -
CDH5.13.3集成Spark2.4.0
CDH5.13.3集成Spark2.4.0目录CDH5.13.3集成Spark2.4.0写在前面一. 安装准备1. 下载csd包2. 下载parcel包二. 开始安装1.安装前可以停掉集群和Cloudera Management Service3.上传CSD包到每台服务器上的/opt/cloudera/csd目录,并且修改文件的用户和组。4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。5.如果刚刚没有停掉CM和集群,现在将他们停掉。然后运行命令。6.把CM和集群启动原创 2021-03-14 18:54:51 · 737 阅读 · 2 评论 -
基于Sentry和Hue实现Hive权限控制(非认证情况)
基于Sentry和Hue实现Hive权限控制(非认证情况)目录基于Sentry和Hue实现Hive权限控制(非认证情况)1 写在前面2 安装Sentry服务2.1 创建数据库2.2 添加Sentry服务3 Hive/Hue服务与Sentry集成3.1 Hive配置3.2 Hue配置4 配置Hive权限5 Sentry权限验证测试6 参考文档1 写在前面Sentry组件由Clodera公司提供的安全授权管理工具。我们可以使用该组件实现hive的分租户权限管理。在此之前,需要明确:CDH平台中的安全,认原创 2021-03-14 18:53:56 · 1043 阅读 · 0 评论