![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据平台
数据平台ClouderaManager和Ambari的各种运维方案
yunhao.wei
这个作者很懒,什么都没留下…
展开
-
ambari和hdp滚动升级
ambari升级备份元数据ambari-server backup备份mysql数据库mysql -u ...... > ambari.sql备份ambari配置文件cp /etc/ambari-server/conf/ambari.properties /etc/ambari-server/conf/ambari.properties.bak停止相关...原创 2018-06-15 17:11:37 · 1573 阅读 · 0 评论 -
ambari安装过程中错误解决
问题一: ERROR: Exiting with exit code -1. REASON: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java and set property “server.jdbc.driver.path=[path/to/custo...原创 2018-06-15 17:32:10 · 7411 阅读 · 4 评论 -
ambari卸载smartsence
smartsense是hortonworks一个商业的组件功能,作用是监控集群,并提供建议,建议是不用第一步,确定SmartSence服务均已关闭curl -u admin:admin -i -H 'X-Requested-By: ambari' -X PUT -d '{"RequestInfo": {"context" :"Stop SmartSense via REST"}, "B...原创 2018-06-15 17:37:09 · 1710 阅读 · 0 评论 -
centos7.4安装ambari2.6.0和hdp2.6.5
下载包:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gzhttp://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-r...原创 2018-06-15 17:46:56 · 1662 阅读 · 0 评论 -
cloudera manager5.11.0离线安装详细步骤
第一步: (下载安装包)cm5.11.0 bin包 http://archive.cloudera.com/cm5/installer/5.11.0/cm5.11.0 依赖的rpm包 http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.11/RPMS/x86_64/cm5.11.0 依赖的parcels包,也就是cdh包...原创 2018-02-08 06:38:07 · 1243 阅读 · 0 评论 -
cloudera manager报错解决方案
问题1错误提示: cloudera-scm-agent 已死,但 pid 文件仍存 解决办法:[root@node1 ~]# cd /var/run/[root@node1 run]# rm -rf cloudera-scm-agent.pid 问题2错误提示: error: No socket could be created on (‘node...原创 2018-02-08 06:40:01 · 12421 阅读 · 7 评论 -
ambari和clouderaManager对比
出版商:hortonworks研发了Ambari和hdp的大数据分析集成平台cloudera研发了cloudera manger和cdh大数据分析集成平台稳定性:cloudera相对来说比较稳定ambari相对来说不稳定(页面打开速度慢)资源消耗:cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和ser...原创 2018-06-15 16:48:32 · 4227 阅读 · 2 评论 -
cloudera manager和cdh升级流程
1、停止所有服务service cloudera-scm-agent stop (所有服务)2、升级server端注意:关闭所有的postgresql服务ps -ef | grep postgre*kill -9 *查看密码:cat /etc/cloudera-scm-server/db.properties备份CM数据:pg_dump -U ...原创 2018-02-08 06:35:06 · 3758 阅读 · 0 评论 -
cloudera manager5.13版本更新信息
概括新功能1.Sentry实现HA 2.Kafka0.11集成,0.11目前为社区最新版 3.Kudu1.5开始默认打包到CDH,不需要使用额外的Parcle安装 4.Kudu与Sentry授权集成,支持列授权 据说CDSW1.2发布,与CM完美集成,实现Parcel安装 Openstack支持,Ceph支持,架构更新,参考: http://www.cloudera.com/doc原创 2017-12-23 11:04:49 · 1707 阅读 · 0 评论 -
cloudera manager5.14版本更新信息
总体概况5.14.0的cdh更新内容Apache Impala Apache Kudu Cloudera SearchApache Impala1、新的布尔运算符: IS TRUE, IS NOT TRUE, IS FALSE, IS NOT FALSE, IS UNKNOWN, and IS NOT UNKNOWN. 这些操作员总是返回TRUE或者是FALSE, 即使左边的表原创 2018-01-26 10:56:57 · 2082 阅读 · 0 评论 -
cloudera manager的agent的ip地址改变解决方案
1、首先在安装cloudera-manager的主机上,启动所有的cloudera管理进程 [root@node1 ~]# /etc/init.d/cloudera-scm-server-db status[root@node1 ~]# /etc/init.d/cloudera-scm-server status2、查看postgresql 的scm用户的密码 grep pa...原创 2018-02-08 06:47:00 · 979 阅读 · 0 评论 -
cloudera manager安装hive各种坑解决方案
问题一 (Hive元数据库编码异常)问题描述: 解决方案:##设置hive数据库编码为latin1mysql > alter database hive character set latin1;问题二 (JDBC版本异常)问题描述: 解决方案:JDBC Driver版本过低引起的异常,使用高版本的JDBC驱动问题三 ...原创 2018-02-08 06:37:49 · 3501 阅读 · 1 评论 -
cloudera manager5.11.0部署spark2.2.0版本
csd包:http://archive.cloudera.com/spark2/csd/ parcel包:http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/注意: 1、需要对cm server重启下 2、对kafka、kudu的csd包放置到csd目录下,不需要对cm server重启 3、kafka0.10.2和sp原创 2017-12-23 11:07:26 · 643 阅读 · 0 评论 -
cloudera manager整体介绍
体系架构 Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。 解释:Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机Management Service:执行各种监控、报...原创 2018-02-09 11:57:55 · 13891 阅读 · 2 评论 -
cloudera manager5.12版本更新信息
Apache Hive/Hive-on-Spark1.Hive on MapReduce2/Spark同时支持Microsoft Azure Data Lake Store (ADLS)。你现在可以用Hive on MapReduce2 and Hive-on-Spark读写存储在ADLS上的数据。具体请参考:Configuring ADLS Connectivity 2.Cloudera原创 2017-12-23 10:59:32 · 597 阅读 · 0 评论 -
cloudera manager卸载流程
注意:卸载Cloudera Manager后,根据需要保留或者删除集群中的Hadoop数据。下面的命令没有删除Hadoop数据,可以在控制台的Hadoop 和MapReduce /配置/选项卡,查看Hadoop数据目录的位置,查找数据目录的属性设置。如果要卸载CDH,清除CDH 文件,参与CDH5安装指南中的卸载CDH组件。1、首先停止所有正在运行的服务(在控制台停止)2、注销并移除Par...原创 2018-02-08 06:34:11 · 3851 阅读 · 0 评论