CDH
文章平均质量分 69
zdkdchao
这个作者很懒,什么都没留下…
展开
-
HDP + ambrai搭建
ambrai是个管理工具,相当于cdh中的CM。HDP是个发行版本,相当于CDH。严格来说,2者没有隶属关系,不能说CDH中包含CM,因为理论上,即使没有CM,也可以安装CDH,正确地说法是,用ambrai搭建HDP。但一般说起来,HDP是包含ambrai的。...原创 2021-11-09 09:03:16 · 294 阅读 · 0 评论 -
yarn(cdh)中的虚拟cpu和内存
YARN同时支持内存和CPU两种资源的调度,默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置。什么是虚拟cpu目前的CPU被划分成虚拟CPU(CPU virtual Core),这里的虚拟CPU是YARN自己引入的概念,初衷是,考虑到不同节点的CPU性能可能不同,每个CPU具有的计算能力也是不一样的,比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍,这时候,你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时,可以指定每个任务需要的虚拟CPU个数。内存资源转载 2021-10-12 09:00:08 · 1023 阅读 · 0 评论 -
hdfs-原生hdfs开启kerberos
简介本文档描述如何在安全模式下配置Hadoop的身份验证。默认情况下,Hadoop以非安全模式运行,在这种模式下不需要实际的身份验证。通过配置Hadoop在安全模式下运行,每个用户和服务都需要通过Kerberos身份验证才能使用Hadoop服务。Hadoop的安全特性包括身份验证、服务级授权、Web控制台身份验证和数据保密。认证终端用户账户当启用服务级别身份验证时,在安全模式下使用Hadoop的最终用户需要使用Kerberos身份验证。进行身份验证的最简单方法是使用Kerberos的kinit命原创 2020-11-19 10:36:42 · 469 阅读 · 0 评论 -
ldap-CDH官网
CDH官网-配置ldap组映射Each host that comprises a node in a Cloudera cluster runs an operating system, such as CentOS or Oracle Linux.At the OS-level, there are user:group accounts created during installation that map to the services running on that specific nod原创 2020-07-22 16:48:34 · 461 阅读 · 0 评论 -
ldap-官文翻译
Hue很容易与您公司现有的身份管理系统集成,并为SSO提供商提供认证机制。通过更改一些配置参数,您的员工可以利用现有的安全策略在浏览器中进行大数据分析这篇博文详细介绍了在LDAP中使用的各种特性和功能:认证搜索绑定目录绑定导入用户导入组同步用户和组LDAP SEARCHCase sensitivity非LDAP下,用户信息存在HUE的数据库中使用Hue LDAP集成,用户可以使用他们的LDAP凭证透明地验证和继承他们现有的组。不需要保存或复制任何密码还有其他几种使用Hue原创 2020-08-22 08:21:21 · 641 阅读 · 0 评论 -
CICD
CICD的思想边开发边测试,避免开发完再测试出现的问题。jenkins持续集成工具pipeline是jenkins的一个groovy脚本任何发布流程都可以用pipeline脚本来描述原创 2020-07-04 11:02:53 · 111 阅读 · 0 评论 -
linux-报错-Input/output error
问题描述在cdh安装进行到复制agent包的步骤时,某个节点报错无法创建临时文件,在这个节点进入到cd /tmp后,ll发现报错 Input/output error ,然后df -Th发现/tmp挂载的是/dev/mapper/rootvg-tmp,解除挂载unmount /dev/mapper/rootvg-tmp,此时/tmp就没有单独挂载了,而是挂载在/dev/mapper/rootvg-root下,然后就可以ll了,cdh也可以复制了。...原创 2020-07-03 09:47:31 · 3097 阅读 · 0 评论 -
CDH-TXKT-集群的监控和故障诊断
监控集群有的公司只用cdh但没用cm。此时可以自己写监控程序或者用JMX和Metrics sinks(Nagios、Ganglia)hadoop有内置的指标功能,可以对外提供接口提供的功能健康检查配置检查,扳手的标志,suspense的意思是忽略图表指标都存在mysql中,定制图表提供了特有的tsquery语法Events事件不一定是发生了错误,只是操作人员感兴趣的行为。AlertsAuditsreports企业版才有,可以把报告下载,可以定制磁盘使用yarn任务.原创 2020-08-22 08:22:23 · 707 阅读 · 0 评论 -
CDH-TXKT-集群的维护
检查hdfs的文件情况不像linux的fsck,只能检查不能修复如果遇到损坏的块,可以move,之后会自动再复制一份dfsadmin,进行hdfs文件管理report 资源的使用情况(空间)、块信息refreshNodes 添加或移除节点后使用。配合黑白名单使用。安全模式:启动hdfs后,会自动进入,检查完再推出退出,用来检查块的数量是不是达到要求,安全模式只能读不能写。enter、leave、wait保存元数据distcp同一集群内部也可以使用如果2个集群的版本差距过大.原创 2020-08-22 08:22:38 · 374 阅读 · 0 评论 -
CDH-腾讯课堂-资源管理
一、目的在静态服务池中分配资源使用动态资源池,配置资源,yarn中资源调度推荐配置资源管理的目标确保关键任务获取合理资源协调用户阻止一个用户占用过多资源二、管理hadoop的资源的工具使用linux的组(cgroups),通过静态服务池针对linux 的进程,也可以在cdh页面中配何时使用?如果有很多非yarn的任务,比如hbase和impala或者说是邮件服务器、ftp服务器,此场景适宜于静态服务池。配置项?内存硬限制:绝对不能超过内存软限制:可以超过,如果出现竞争,会把原创 2020-06-22 00:13:29 · 607 阅读 · 0 评论 -
kerberos-CDH 修改realm
SRC没有找到直接修改的文档,包括cdh和kerberos的官网所以决定先暂停cdh的krb,然后重新修改realm,然后重新创建krb数据库。最后在cdh页面中走一遍流程暂停cdh的krb重新配置krb1. 在kdc节点上关闭kadmin和kdc服务systemctl stop krb5kdc;systemctl status krb5kdc;systemctl stop kadmin;systemctl status kadmin;2. 修改/var/kerberos/krb5kdc/k原创 2020-08-22 08:23:29 · 709 阅读 · 0 评论 -
CDH-TXKT-hive、impala
这部分只讲怎么部署和管理,至于怎么使用这3者进行数据分析,在另外的课程一、hive1. what is hive数据分析人员一般不会使用mrhive is an apache project originally develed at facebook适用于非结构化数据的分析2. how hive works元数据存在第三方数据库,schema + location3. hive tables一个表对应一个hdfs目录,包含这么目录下的所有文件分为managed和external,e.原创 2020-08-22 08:23:48 · 343 阅读 · 0 评论 -
CDH-资源设置
须知1. 虚拟内存相对于物理内存的概念,虚拟内存可以设置的比物理内存大,mapreduce.map.memory.mb设置的是物理内存,yarn.nodemanager.vmem-pmem-ratio是虚拟和物理内存的ratio,原创 2020-08-22 08:24:40 · 615 阅读 · 0 评论 -
CDH-distcp
2个集群的realm的名字必须不同,realm名要唯一https://superuser.com/questions/1465073/how-to-enable-trust-between-two-kdcs-with-same-kerberos-realm-and-same-domain-n原创 2020-05-28 16:31:04 · 997 阅读 · 0 评论 -
集群的修改优化
1. UTC2. impala llama.am.server.thrift 最大线程数 50 =>500原创 2020-05-28 16:03:47 · 156 阅读 · 0 评论 -
CDH-官文distcp翻译
语法和例子50070端口是hdfs nn的默认端口1. 在不同CDH版本之间必须adhere如下guidelines:CDH版本必须兼容,s cluster必须比destination cluster低在高版本CDH的集群运行distcp命令时,这个集群必须是destination cluster。因为distcp命令s、t运行都可以,命令本身就包含谁是s、t。s cluster使用webhdfs协议传输使用如下的语法例子:从一个5.7.0版本的cluster到一个5.12版本的,s clu原创 2020-05-27 22:28:48 · 898 阅读 · 0 评论 -
cdh-添加删除节点
https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cm_mc_delete_hosts.html原创 2020-05-08 15:45:51 · 933 阅读 · 0 评论 -
hue配置https
需求hue默认使用的是http,要改成httpshttps和http的不同,作用https比http多了一个ssl层https是在http传输的基础上加入了ssl协议,ssl协议用于保护数据链路安全和用户身份认证安全,ssl协议基于数字证书而设计,所以配置https需要证书。...原创 2020-04-27 23:04:45 · 872 阅读 · 0 评论 -
CDH-hdfs的acls
一、SRChttps://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_sg_hdfs_ext_acls.htmlHDFS支持POSIXAccess Control Lists(ACL),也就是传统的POSIX权限控制。类似于Linux文件系统权限。但更强大,每个文件可以设置多个属主、属组,每个主和组又可以单独设置权限...原创 2020-05-03 16:41:45 · 555 阅读 · 0 评论 -
VM下安装 centos7.6 + CDH5.16.2
一、SRC前面那篇文章是在生产环境实践之前本地安的,在生产环境安装了一遍之后,有很多地方做了修改,所以重新写一篇。二、需求1. 节点规划完全模拟公司环境,centos7.6 + CDH5.16.25台虚拟机。4个cdh,1个应用和数据库服务器。ip作用101cdh管理节点102-104cdh工具+数据节点105数据库和应用节点2. 配置hdf..................原创 2020-08-22 08:28:08 · 902 阅读 · 0 评论 -
CDH-创建standard虚拟机
1. 准备{1} 查看网段2. 创建standardstandard只需要设置最小即可NAT模式好像可以直接连接外网删除usb,声卡,打印机3. 安装系统{1} 光驱文件挂载iso{2} 启动,进入系统选择第一项语言选美式英语分别设置时区,键盘分区分别创建/boot区、swap交换分区、根分区//boot给200Mswap给2G...原创 2020-08-22 08:28:15 · 282 阅读 · 0 评论 -
cdh-组件的各种端口号
https://blog.csdn.net/weixin_45379125/article/details/104184068转载 2020-04-30 19:27:46 · 1687 阅读 · 0 评论 -
cdh-trap
1 beeline连接时,如果hive重启,beeline也要重新连卷创建用户、目录免密hosts主机名关防火墙、selinuxUI添加节点krb客户端下发文档原创 2020-04-23 18:44:34 · 99 阅读 · 0 评论 -
cdh-下发
准备使用root 扩展磁盘在z1cdh-lv.sh使用root创建cib用户和相关目录在z1-4创建cib用户工具节点z4上使用cib登录获取介质cib登录z4,创建/cdh/insfiles下对应目录,使用ftp获取对应介质上传脚本,在z4上将如下脚本上传到/opt下cdh-ssh.shcdh-ssh1.shcdh-ssh0.shcdh-hosts.shcdh-h...原创 2020-05-26 23:27:36 · 172 阅读 · 0 评论 -
cdh-配置HDFS和yarn的HA
https://cloud.tencent.com/developer/article/1078380注意:hdfs启动HA完成之后提示需要手动配置hue和hive,hive没问题,hue暂时还没找到怎么配原创 2020-04-19 22:04:04 · 206 阅读 · 0 评论 -
hive、impala的客户端,cli、beeline、WebHCat
连接hive有2种形式,shell和jdbc(beeline)一、shell二、beeline整合kerberos时设置要principal是hive服务的,登录用户是krb认证的,krb认证谁beeline当前用户就是谁。...原创 2020-04-12 21:45:36 · 3474 阅读 · 1 评论 -
ldap + sentry架构的相关结论的验证
文章目录一、环境二、验证1. 验证1:kerberos的认证、sentry的授权不关心用户的来源(ldap,linux),是独立于linxu和ldap的,可以不在linux创建对应用户。{1} 在ldap中添加一个linux中没有的entry(用户),先不赋sentry权限,查看这个用户是否可以访问hive。然后sentry再授权,查看访问情况[1] 创建在linux中没有的ldap用户[2] 进...原创 2020-04-12 21:04:41 · 1478 阅读 · 0 评论 -
cdh-下载cdh所需的安装文件
SRCcdh的服务的相关文件就是parcel + 一个sha,还有额外的spark2其他的安装文件最好都用rpm的形式,可以用rpm的:cmjdkmysql驱动mysql下载原创 2020-08-22 08:28:57 · 981 阅读 · 0 评论 -
arti-cdh的ldap文档翻译
SRC文档版本选择页https://docs.cloudera.com/documentation/enterprise/latest.html5.16.x ldap文档https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cm_sg_ldap_grp_mappings.html配置ldap组映射...原创 2020-08-22 08:29:07 · 117 阅读 · 0 评论 -
CDH-hive的引擎换为spark:hive on spark
CDH-hive的引擎换为spark:hive on spark原创 2020-03-20 12:25:41 · 4003 阅读 · 13 评论 -
CDH-实操trap记录
安装集群时有个agent没加进去,CDH装完后添加主机时也不识别,后来在agent/config.ini中发现serverhost没改。原创 2020-03-20 09:04:13 · 117 阅读 · 0 评论 -
CDH-中级操作
集群中添加节点hdfs中添加DN需求:有几个节点已经添加完,但没有添加dn服务。HDFS - 实例-部署客户端配置-重新平衡重新平衡:很费时间,注意如果某几个节点硬盘还没挂载带目录上,要先挂载,不然某个节点空间小,重新平衡没意义...原创 2020-08-22 08:30:49 · 201 阅读 · 0 评论 -
CDH集群配置
原理目前的CDH集群安装的配置主要考虑的是内存和CPU核数的分配,因为内存和CPU的配置直接影响集群的性能。其他的配置则跟集群整体规划有关,如NameNode,ResourceManager,zookeeper等安装在哪;block块的大小;以及是否需要开启CDH本身提供的一些功能等等。所以以下会分两个部分描述集群的配置文件:内存和CPU参数部分,其他常用配置部分。最后给出整个集群的详细配置参数...原创 2020-08-22 08:24:48 · 1513 阅读 · 0 评论 -
yarn的资源分配、spark的资源获取原理以及配置
spark on yarn的资源调度原理一、须知:yarn is a resource scheduling framework,它可以设置一次任务所能获取的最大和最小资源。资源包括节点、core、memory,yarn可以控制一个任务所能分配的这3样的上下限。可以设置资源池,队列,角色组,通过这些概念来管理资源的分配。spark程序运行时如果内存不足是会报错退出的,亲测,报的...原创 2020-08-22 08:29:55 · 1404 阅读 · 0 评论 -
kerberos使用
https://www.jianshu.com/p/69e6a2e7c648转载 2020-08-22 08:28:00 · 2805 阅读 · 2 评论 -
linux-ntp时间同步
一、需求:集群中设置1个server,其他client从server同步时间,server从外网或者本地同步时间二、安装(所有节点)yum安装方式:yum install -y ntp,rpm -q ntptar包编译安装方式:下载tar包:http://www.ntp.org/downloads.htmltar -zxvf ntp-4.2.8p8.tar.gzcd ntp-4.2.8...原创 2020-02-18 11:08:55 · 434 阅读 · 0 评论 -
使用yarn api提交、监控spark任务
使用yarn api提交、监控spark任务原创 2020-02-09 13:21:07 · 963 阅读 · 0 评论 -
BG架构-sentry的初步学习
sentry的来源,基本原理,使用原创 2020-08-22 08:28:45 · 411 阅读 · 0 评论 -
BG架构-kerberos初步学习
src认证原理安装配置测试原创 2020-02-07 00:49:14 · 1242 阅读 · 0 评论 -
CDH-hue的使用
hue的使用原创 2020-02-07 22:13:11 · 1661 阅读 · 0 评论