Cloudera安装指南
文章目录
官方文档
本指南提供了在生产环境中安装Cloudera软件(包括Cloudera Manager、CDH和其他托管服务)的指导。
对于非生产环境(例如测试和概念验证用例),请参阅概念验证安装指南,了解简化的(但有限的)安装过程。
本指南包括以下部分:
卸载CM和管理软件
使用以下说明卸载Cloudera Manager服务器、代理、托管软件和数据库。
按照本节中的步骤删除软件和数据。
- Record User Data Paths
- Stop all Services
- Deactivate and Remove Parcels
- Delete the Cluster
- Uninstall the Cloudera Manager Server
- Uninstall Cloudera Manager Agent and Managed Software
- Remove Cloudera Manager and User Data
- Uninstalling a CDH Component From a Single Host
记录用户数据路径
列出的用户数据路径
/var/lib/flume-ng
/var/lib/hadoop*
/var/lib/hue
/var/lib/navigator
/var/lib/oozie
/var/lib/solr
/var/lib/sqoop*
/var/lib/zookeeper
data_drive_path/dfs
data_drive_path/mapred data_drive_path/yarn
这里是默认设置。然而,在某种程度上,它们可能已经在Cloudera管理器中被重新配置。如果您希望从集群中删除所有用户数据并更改了路径,无论是在安装CDH和托管服务时还是在稍后的某个时候,请通过检查每个服务中的配置来注意路径的位置。
停止所有服务
对于Cloudera管理器管理的每个集群:
-
在Home > Status选项卡上,
a. 单击集群名称的右侧并选择停止。
b. 在确认屏幕中单击停止。命令详细信息窗口显示停止服务的进度。当所有服务成功停止时,任务完成,您可以关闭命令详细信息窗口。
-
在Home >状态选项卡上,点击Cloudera管理服务条目的右边,选择停止。命令详细信息窗口显示停止服务的进度。当所有服务成功停止时,任务完成
停用和移除包裹
如果你使用packages安装,跳过这一步,前往卸载Cloudera管理器服务器;
您将在Uninstall Cloudera Manager代理和托管软件中删除软件包。
如果您使用parcels安装,请按以下方式删除它们:
- 单击主导航栏中的包裹指示器。
- 在左侧的位置选择器中,选择所有集群。
- 对于每个激活的包裹,选择Actions >禁用。当此操作完成时,parcel按钮更改为激活。
- 对于每个激活的包裹,选择Actions >删除从主机。当此操作完成时,parcel按钮更改为停用。
- 对于每个激活的包裹,选择Actions >删除。这将从本地包裹存储库中删除包裹。
可能有多个已下载和分发的包裹,但它们不是活动的。如果是这种情况,您还应该从分发这些包的任何主机上删除这些包,并从本地存储库中删除这些包。
删除集群
在主页上,单击要删除的集群旁边的下拉列表,然后选择删除。
卸载Cloudera管理器服务器
卸载Cloudera Manager服务器所需的命令取决于安装方法。请参阅以下步骤,这些步骤对应于您安装Cloudera Manager服务器时使用的方法:
- 如果你使用了Cloudera - Manager -installer.bin文件-在Cloudera Manager服务器主机上运行以下命令:
sudo /usr/share/cmf/uninstall-cloudera-manager.sh
-
如果您没有使用Cloudera - Manager -installer.bin文件—如果您使用不同的安装方法(如Puppet)安装了Cloudera Manager服务器,请在Cloudera Manager服务器主机上运行以下命令:
-
停止Cloudera管理服务器及其数据库:
sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop
-
卸载Cloudera管理器服务器及其数据库。如果您安装了该选项,此过程还将删除嵌入的PostgreSQL数据库软件。如果您没有使用嵌入的PostgreSQL数据库,请省略
cloudera-manager-server-db
步骤。RHEL systems:
sudo yum remove cloudera-manager-server sudo yum remove cloudera-manager-server-db-2
SLES systems:
sudo zypper -n rm --force-resolution cloudera-manager-server sudo zypper -n rm --force-resolution cloudera-manager-server-db-2
Debian/Ubuntu systems:
sudo apt-get remove cloudera-manager-server sudo apt-get remove cloudera-manager-server-db-2
-
卸载Cloudera管理代理和管理软件
在所有代理主机上执行以下操作:
-
停止Cloudera Manager代理。
RHEL 7, SLES 12, Debian 8, Ubuntu 16.04 and higher
sudo systemctl stop supervisord
RHEL 5 or 6, SLES 11, Debian 6 or 7, Ubuntu 12.04 or 14.04
sudo service cloudera-scm-agent hard_stop
-
卸载软件
OS | Parcel Install | Package Install |
---|---|---|
RHEL | $ sudo yum remove 'cloudera-manager-*' | CDH 5$ sudo yum remove 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hadoop-kms hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama oozie pig pig-udf-datafu search sentry solr-mapreduce spark-core spark-master spark-worker spark-history-server spark-python sqoop sqoop2 hue-common oozie-client solr solr-doc sqoop2-client zookeeper |
SLES | $ sudo zypper remove 'cloudera-manager-*' | CDH 5$ sudo zypper remove 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hadoop-kms hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama oozie pig pig-udf-datafu search sentry solr-mapreduce spark-core spark-master spark-worker spark-history-server spark-python sqoop sqoop2 hue-common oozie-client solr solr-doc sqoop2-client zookeeper |
Debian/Ubuntu | $ sudo apt-get purge 'cloudera-manager-*' | CDH 5$ sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hadoop-kms hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama oozie pig pig-udf-datafu search sentry solr-mapreduce spark-core spark-master spark-worker spark-history-server spark-python sqoop sqoop2 hue-common oozie-client solr solr-doc sqoop2-client zookeeper |
-
运行clean命令
RHEL
sudo yum clean all
SLES
sudo zypper clean
Debian/Ubuntu
sudo apt-get clean
删除Cloudera管理器和用户数据
杀死Cloudera管理器和托管进程
所有代理主机上,杀死运行中的Cloudera管理器和托管进程:
for u in cloudera-scm flume hadoop hdfs hbase hive httpfs hue impala llama mapred oozie solr spark sqoop sqoop2 yarn zookeeper; do sudo kill $(ps -u $u -o pid=); done
注意:如果您正确地停止了所有服务和Cloudera Manager代理,则不需要执行此步骤。
删除Cloudera管理器数据
如果要在RHEL上卸载,请在所有代理主机上运行以下命令,永久删除Cloudera Manager数据。如果您希望将来能够访问这些数据中的任何一个,您必须在删除它之前对其进行备份。如果您使用的是嵌入式PostgreSQL数据库,则该数据存储在:/var/lib/cloudera-scm-server-db.
sudo umount cm_processes
sudo rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
删除Cloudera管理锁文件
在所有代理主机上,运行这个命令来删除Cloudera管理锁文件:
sudo rm /tmp/.scm_prepare_node.lock
删除用户数据
步骤将永久删除所有用户数据。为了保存数据,在开始卸载过程之前,使用distcp
命令将其复制到另一个集群。在所有代理主机上,运行以下命令:
sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper
在所有代理主机上的每个数据驱动器上运行以下命令(调整每个主机上的数据驱动器的路径):
sudo rm -Rf data_drive_path/dfs data_drive_path/mapred data_drive_path/yarn
停止并删除外部数据库
如果您选择将Cloudera管理器或用户数据存储在外部数据库中,请参阅数据库供应商文档了解如何删除数据库的详细信息。
从单个主机卸载CDH组件
面的过程从Cloudera Manager管理的单个主机上删除CDH软件组件。
- 在Cloudera Manager管理控制台,选择Hosts选项卡。集群中的主机列表将显示出来。
- 选择要卸载CDH软件的主机。
- 单击所选动作按钮并选择Remove From Cluster。Cloudera管理器从集群中删除角色和主机。
- (可选)手动删除Cloudera Manager使用的
krb5.conf
文件。