大数据平台运维
文章平均质量分 64
大数据平台运维(CDH、HDP)
CarbonDioxide12138
我什么都不知道,要学的东西太多了
展开
-
Kerberos常用命令总结
进入kadmin kadmin.local/kadmin 创建数据库 kdb5_util create -r JENKIN.COM -s 启动kdc服务 service krb5kdc start 启动kadmin服务 service kadmin start 修改当前密码 kpasswd 测试keytab可用性 kinit -k -t /var/kerberos/krb5kdc...原创 2018-03-18 22:18:47 · 18662 阅读 · 0 评论 -
编译HUE并接入Ambari管理
编译HUE并接入Ambari管理版本信息下载安装包安装依赖编译HUE纳入Ambar管理通过ambari web 安装hueQA版本信息Amabri :2.7.4HDP: 3.1.4HUE:4.10.0下载安装包https://cdn.gethue.com/downloads/hue-4.7.0.tgz安装依赖yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5原创 2021-07-08 09:39:02 · 787 阅读 · 0 评论 -
CDH添加服务-----以sentry为例
1. 背景虽然在集群上部署了kerberos认证,但是kerberos只是对用户层面进行认证,凡是认证通过的用户都有全量的访问权限,这很不安全,需要进一步对用户的权限进行控制,Sentry 的作用就是这个。2. 添加Sentry服务2.1.进入CM首页-->选择集群-->添加服务2.2.选择Sentry,点击继续2.3.给Sentry分配主机,继续2.4.给Sentry指定数据库此...原创 2018-03-18 22:51:17 · 2184 阅读 · 1 评论 -
大数据平台部署-----ambari在线和离线安装
一、在线编译安装1.1. 安装独立maven1.1.1. 下载Mavenwget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz 1.1.2. 解压安装Maventar -xzvf apache-maven-3....原创 2018-03-22 20:50:40 · 2073 阅读 · 0 评论 -
大数据平台部署------CDH启用TLS加密传输
1. TLS介绍1.1. 背景部署了Kerberos之后,CM会提示有安全隐患,至少需要一级TLS加密。1.2. 相关知识传输层安全性(TLS)在ClouderaManager服务器和代理之间的通信中提供加密和身份验证。 加密可防止通信侦听,并且身份验证有助于防止恶意服务器或代理在群集中引起问题。Cloudera Manager支持三种级别的TLS安全性,三种必须逐级配置。级别1(好) -...原创 2018-03-18 22:30:20 · 3894 阅读 · 3 评论 -
大数据平台搭建------CDH单机部署
从 17年十一月入职起,到中间经历了毕业、春节、转正。在工作岗位上学到了很多很多的东西,非常有幸遇到这么一群人生导师,早就想把工作中趟过的坑,总结的文档,开个博客记录起来,一来可以给其他人参考,二来也是自己的一个复习吧。可是拖延症作祟,这事,一直耽搁,争取以后每周至少总结两篇。加油,未来的路很长!--------------------------------------------...原创 2018-03-17 13:58:30 · 4252 阅读 · 5 评论 -
kerberos高可用---主从部署
1. 选择slave的master(node2)和slave(node3)上添加对方为可信用户在已有kerbero环境中,再选择一台主机作为slave安装kerbero服务端yum -y install krb5-server krb5-libs krb5-auth-dialog 2. 在kerberosMaster kadmin: addprinc -randkey host/node2 ...原创 2018-03-18 22:23:13 · 3310 阅读 · 0 评论 -
Ambari接管HBase thriftServer及HUE集成HBase
Ambari接管HBase thriftServer及HUE集成HBase新建hbase_thriftserver.py上传hbase_thriftserver.py添加执行权限修改metainfo.xml复制HBase service目录到HBASE目录重启ambari-server在Amabri-web安装HBase thriftserver修改hue.ini重启HUE新建hbase_thriftserver.py#!/usr/bin/env python"""Licensed to the A原创 2021-07-08 09:57:14 · 555 阅读 · 0 评论 -
大数据平台部署-------CDH集群中启用kerberos认证
1. Kerberos部署1.1.安装相关软件server端 yum -y install krb5-server krb5-libs krb5-auth-dialog Agent端 yum install krb5-devel krb5-workstation -y 1.2.server端修改KDC配置文件修改配置文件中的EXAMPLE.COM为HADOOP.COM,默认的加密是aes25...原创 2018-03-18 17:21:19 · 1004 阅读 · 0 评论 -
大数据平台搭建------CM 和CDH安装
一、安装说明 CM是由cloudera公司提供的大数据组件自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台。 采用离线安装模式,虽然在线安装比较简单,但是速度感人,原因大家都懂,这里我使用的各软件版本信息为:操作系统:CentOS6.8CDH版本:5.7.1:CDH-5.7.1-1.cdh5.7.1.p...原创 2018-03-17 15:11:24 · 9198 阅读 · 0 评论 -
Ambari添加Ranger相关的坑
添加服务后ranger无法启动,有SSL警告WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. .原创 2021-07-26 21:20:00 · 660 阅读 · 1 评论 -
清理hive_meta库脏数据导致的hive表无法读写的问题
清理hive脏数据原创 2023-01-06 10:12:04 · 276 阅读 · 0 评论 -
Ambari启用HDFS HA失败回滚
Ambari 启用HDFS HA失败回滚原创 2023-01-06 10:01:16 · 289 阅读 · 0 评论 -
Ambari集群启用Hive on spark
目录环境信息参考资料配置步骤测试环境信息Ambari 2.6.1+HDP 2.6.5(hive 单独升级到了2.3.2)参考资料https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark:+Getting+Started#HiveonSpark:GettingStarted-ConfiguringHive.https://stackoverflow.com/questions/55422935/hive-on-spark-error原创 2021-10-18 14:49:00 · 1833 阅读 · 4 评论 -
Ambari Rest API 管理集群
有时候因为网络端口活着其他限制原因,我们没办法直接访问ambari web ui的页面进行操作,这时候我们可以在能访问ambari server的linux服务器上执行curl命令来管理ambari集群参考链接: https://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/index.md#resources.获取集群名称curl -u username:password -H "X-Requested-By: amb原创 2021-10-13 16:00:45 · 565 阅读 · 0 评论 -
在启用了Kerberos的ambari集群上添加组件
在启用了Kerberos的ambari集群上添加组件背景步骤1 .修复安装服务时卡在install pending的异常2.添加服务3.分发keytab4.重启已添加的服务5.修改yarn队列配置文件 fair-scheduler.xml背景有一个项目的ambari集群启用了Kerberos认证,总共有24台机器,只有5台机器部署了NodeManger,可用资源只有220G,60核,高峰期业务排队时间较长,同时其他机器资源利用率低,业主希望在所有机器上都部署上yarn,提供作业并行度。步骤1 .修复原创 2021-10-12 17:15:39 · 560 阅读 · 0 评论 -
HDP3.1升级hbase2.2.7之后,Ambari timeline services v2无法启动
在升级Hbase2.2.7之后,ATSv2内置的单点hbase因为版本问题,无法启动,需要修改配置使用我们部署的hbase取代内置的hbase参考https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.0/data-operating-system/content/configure_hbase_for_timeline_service_2.0.html解决步骤:在yarn高级配置中的yarn-hbase-env中,修改use_external_hb原创 2021-07-21 15:45:12 · 1035 阅读 · 0 评论 -
HDP3.1中HBase从2.0.6升级到2.2.7
HDP3.1中HBase从2.0.6升级到2.2.7下载解压HBase 二进制包,上传至http服务器上,下载地址https://www.apache.org/dyn/closer.lua/hbase/2.2.7/hbase-2.2.7-bin.tar.gz停止所有master节点,包括standby master在ambari-web中修改hbase 高级设置中的custom hbase-site.xml,添加配置hbase.procedure.upgrade-to-2-2=true(重要,原创 2021-07-08 10:04:06 · 3641 阅读 · 8 评论 -
大数据平台运维------CDH平台启用HBASE权限控制
1. 启用HBase安全服务1.1. 主页-->HBase-->配置-->搜索hbase.superuser添加root,hbase,admin用户1.2. 主页-->HBase-->配置-->Master-->HBase Coprocessor类添加org.apache.hadoop.hbase.security.access.AccessCont...原创 2018-03-18 17:04:31 · 1329 阅读 · 0 评论 -
在CM中修改HDFS的nameservice
在大数据平台中,hdfs的nameservice关系到很多方面,如果有配置错误的话,往往排查起来会非常非常的蛋疼,这时候就需要修改nameservice了,在CM中修改nameservice又不同于直接在配置文件里修改,需要进行的步骤有些许繁琐,这里稍微总结一下。1 停止除了zookeeper之外的所有服务2 在其中一台zookeeper server的服务...原创 2018-03-18 22:59:34 · 3703 阅读 · 0 评论 -
Iptables常用操作及CDH 启用防火墙
一、Iptables常用操作1.查看当前所有的iptables配置iptables -L -n 2.添加允许INPUT访问规则,以下时常见服务的端口设置,如果需要拒绝访问,则将ACCEPT改为DROP即可iptables -A INPUT -p tcp --dport 22 -j ACCEPT iptables -A INPUT -p tcp --dport 8080 -j ACCEPT ...原创 2018-03-18 23:06:29 · 1503 阅读 · 0 评论 -
大数据平台运维-----Kerberos环境下Hive及Impala监控脚本的开发
一、工程目录二、原理解析 Hive和Impala是两个最常用的大数据查询工具,他们的主要区别是Hive适合对实时性要求不太高的业务,对资源的要求较低;而Impala的由于采用了全新的架构,处理速度非常的快,但同样的也对资源消耗比较大,适合实时性要求高的业务。 在我测试过程中发现,有些时候,即使通过shell命令来检测,发现Hive或者Impala的进程正在运行,但是无法访问他们的web...原创 2018-03-25 20:27:05 · 1297 阅读 · 1 评论 -
大数据平台运维------CM与CDH的升级
1. 升级说明CM与CDH的升级过程有点类似与安装过程,这里我们也是采用离线安装模式,各软件版本信息为:操作系统:CentOS6.8CDH版本:5.7.1:CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel manifest.j...原创 2018-03-17 23:38:39 · 2065 阅读 · 0 评论