CDH 安装 记录

于 2019-02-28 11:03:16 发布
阅读量173 收藏
点赞数
分类专栏： CDH 文章标签： CDH 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liaoxiaolin520/article/details/88014807
版权

准备步骤如下：

第一步

首先准备三台机器，形成集群最少的台数。

例如ip地址为：192.2.1.1、192.2.1.2、192.2.1.3

192.2.1.1为master节点,其他作为节点

第二步

ssh免密登录 我认为最简单的方式是 在每个机器上执行 ssh key-gen -t rsa 之后，会在/root/.ssh的目录下生成 id_rsa.pub 和id_rsa 创建 authorized_keys 把几台机器的id_rsa.pub 全部 放进去 ，然后 开放权限 chmod +x authorized_keys.再把authorized_keys放在所有节点机器上面。

第三步

准备材料：

下载Cloudera Manager安装包 

地址：http://archive.cloudera.com/cm5/cm/5/

下载包样式：cloudera-manager-centos7-cm5.14.2_x86_64.tar

版本自己选择

下载CDH、一共三个东西需要在

下载地址：http://archive.cloudera.com/cdh5/  然后进入parcel

下载包样式：CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel

manifest.json

特别注意：而且需要注意的是CDH的版本需要等于或者小于Cloudera Manager的版本

第四步

安装jdk 这个教程自己百度，比较简单

第五步

关闭防火墙和SElinux 百度一下也比较简单

第六步

下载mysql 的驱动包

https://dev.mysql.com/downloads/connector/j/ 进入后选择platform independent下载 zip后缀包

然后解压 主要是后面需要里面的一个jar包

第七步

每个节点进行时间的同步

第八步

安装mysql，我用的是docker 没有在机器上安装。我是直接装到master机器上面的，你们如果有可以用的mysql也可以不用安装

如果要自己安装的话就百度一下。

注意安装好后就需要 创建 几个表 hive amon hue oozie
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

正式开始安装步骤如下：

提示：已下内容默认为在主机上面操作，除非提示其他节点时才是在其他节点操作。

第一步

解压下载的CM包，我是解压到  /opt路径下。建议解压到 空间大的路径下面。

第二步

修改 /opt/cm-5.8.2/etc/cloudera-scm-agent/config.ini中的server_host
为主节点的主机名。 （hostname）

第三步

解压刚刚下载的mysql zip把里面的jar包 复制到 /opt/cm-5.14.2/share/cmf/lib 路径下

第四步

主节点修改agent配置文件。

vim  /opt/cm-5.8.2/etc/cloudera-scm-agent/config.ini

修改其中的server_host=hadoop180主节点的主机名 我的master节点 主机名修改成了 hadoop180.

第五步

把主节点的cm-5.14.2 远程发到其它的子节点

执行以下命令：

scp -r cm-5.14.2 hadoop181:/opt  scp -r cm-5.14.2 hadoop182:/opt 

第六步

把CDH5需要的安装文件放到主节点上，新建目录为
/opt/cloudera/parcel-repo
把我们之前下载的三个文件放到这个目录下
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
manifest.json

需要注意的是
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1需要重命名成CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha

第七步

在主节点初始化CM5的数据库

执行命令

/opt/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql cm  -h hadoop180(master主机名)  -u  root  -p 123456（刚刚准备步骤中的MySQL密码和账号） --scm-host  hadoop180（master主机名） scm scm scm

参数说明
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-hhadoop1：数据库建立在hadoop1主机上面。也就是主节点上面。
-uroot：root身份运行mysql。-123456：mysql的root密码是***。
--scm-host hadoop1：CMS的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码。
 

注意：

如果mysql是docker的话 需要在对应端口时用 --net=host
如果出现 权限问题，需要在mysql这个库名下面执行，重点是在名字为mysql这个数据库下面去执行


GRANT ALL PRIVILEGES ON *.* TO 'root'@'需要放开权限的服务器ip或者host名（必须在本地电脑也配置）' IDENTIFIED BY '123456' WITH GRANT OPTION;

FLUSH PRIVILEGES;

第八步

为保证不出现安装时报主机状况不良情况

需要删除 rm -f /opt/cm-5.14.2/lib/cloudera-scm-agent/cm_guid

第九步

启动 cm 和agent

/opt/cm-5.8.2/etc/init.d/cloudera-scm-server start 启动主节点
/opt/cm-5.8.2/etc/init.d/cloudera-scm-agent start 从节点
启动agent失败的时候 用 ps -ef | grep supervisord 杀掉整个进程

注意这儿要所有的agent服务都启动了才行。不然监测不到后面安装会出现异常 选不到主机

第十步

进入页面 登录 

ip:7180/cmf/login  admin  admin

第十一步

  1. 同意条款 点击继续
  2. 然后就是 主机选择 
  3. jdk跳过 不选，用自己的就行
  4. 选择使用 parcel安装 点击继续安装，这儿如果没有parcel的话需要 检查一下CDH的三个文件是否按照操作放到了规定的路径下面，一般可能是名称未修改或者文件名字错误了
  5. 安装出现 主机状况不良的话  rm -f /opt/cm-5.14.2/lib/cloudera-scm-agent/cm_guid 执行这个 然后重启 agent的每个节点
  6. 然后选择自己要安装的组件

参照 ：https://blog.csdn.net/HFUTLXM/article/details/77605636?locationNum=1&fps=1#t2

穷小伙不穷志
关注
专栏目录
CDH安装过程记录.txt
05-16
cdh5.13的安装文档，详细记录了安装的步骤和一下常见问题的解决办法
CDH安装文档(1).docx
04-29
cdh集群安装里面官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第...
CDH6.3.2集成tez
03-01
- 可以通过查看 YARN 应用程序历史记录来确认任务是由 Tez 处理的。 #### 总结 本文介绍了如何在 CDH 6.3.2 中集成 Tez 0.9.1，并将其设置为默认执行引擎。整个过程涉及到了 Maven 的安装配置、Protocol Buffers ...
cdh及其组件安装的shell脚本集合
10-22
【标题】"CDH及其组件安装的Shell脚本集合"主要涵盖了在Linux环境中部署和管理Cloudera's Distribution Including Apache Hadoop (CDH) 的一系列自动化脚本。这些脚本旨在简化CDH组件的安装、配置和维护过程，提高...
基于yolov3结合卡尔曼滤波匈牙利算法虚拟线圈的车流量检测python源码+项目说明.zip
09-21
本项目专注于视频基的车辆跟踪与流量统计，依托深度学习技术，实时追踪路面车辆动态并精准统计各车道车流量。该项目通过以下核心步骤高效处理输入视频数据： 高精度目标检测：采用YOLOv3模型，凭借其卓越的实时性与准确性，快速识别视频中的车辆目标，为后续追踪奠定坚实基础。 稳定目标追踪：集成SORT（Simple Online and Realtime Tracking）算法，结合卡尔曼滤波器预测车辆未来位置，同时运用匈牙利算法优化目标间的匹配，实现连续、稳定的车辆追踪，有效应对遮挡、交叉等复杂场景。 智能车流量统计：借鉴虚拟线圈概念，巧妙设计算法以监测穿越预设区域的车辆，自动计数并准确统计各车道车流量，为交通管理与分析提供可靠数据支持。 整体而言，本项目通过融合先进的目标检测与追踪技术，结合创新的流量统计方法，构建了一个高效、精准的实时车辆跟踪与流量统计系统，为智慧交通领域的发展贡献力量。
本科毕业设计--基于深度学习的人脸面部表情识别.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
雷电模拟器改成真机环境
09-21
在Android系统中，模拟器通常会被识别为非真实的设备，这可能导致某些应用或服务无法正常运行，尤其是那些需要硬件信息或root权限的应用。改真机环境意味着通过技术手段使模拟器的行为更接近真实的Android设备，包括模拟设备硬件信息、IMEI、MAC地址等，以绕过检测并提升兼容性。LSPSED（Linux System Property Setter and Editor）模块是Magisk的一个扩展，专门用于修改Android系统的系统属性。通过LSPSED，我们可以更改设备的各种系统属性，如设备型号、制造商信息等，这些修改对于使模拟器看起来更像真实设备至关重要。在使用过程中，还需要添加几个机型模块，这些模块通常包含了特定设备的系统配置信息，如设备代号、硬件信息等。通过安装这些模块，雷电模拟器可以模仿各种流行的Android设备，进一步提高应用的兼容性和真实性。
CenterNet 部署版本，便于移植不同平台（onnx、tensorRT、rknn、Horizon）
09-21
CenterNet 是一种用于目标检测的神经网络架构，它的核心思想是利用目标的中心点作为检测的关键信息。这种方法与传统的目标检测方法（如基于边界框的方法）有所不同，因为它不直接预测目标的边界框，而是预测目标的中心点坐标和目标的宽度与高度。 CenterNet 的主要特点包括： 1. **中心点预测**：网络输出目标的中心点坐标，以及目标的宽度和高度。 2. **热图（Heatmap）**：网络生成一个热图，其中每个像素点的值表示该点成为目标中心点的概率。 3. **回归任务**：除了中心点坐标，网络还需要预测目标的宽度和高度，这通常通过预测中心点周围的偏移量来实现。 4. **多任务学习**：CenterNet 通常会同时预测目标的类别、中心点坐标、宽度、高度以及目标的旋转角度（在某些变体中）。 5. **端到端训练**：CenterNet 可以直接在最终的目标检测任务上进行端到端的训练，无需复杂的区域提议网络（Region Proposal Network, RPN）或锚点（anchor）机制。 6. **高效性**：由于省略了传统目标检测中的一些步骤，CenterNe
CSP-J是计算机科学学科相关的青少年科技爱好者等级考试.docx
09-21
CSP-J是计算机科学学科相关的青少年科技爱好者等级考试，全称为青少年软件编程等级考试。以下是对CSP-J的详细介绍： 一、考试背景与目的 CSP-J考试是由全国青少年软件编程等级考试标准工作组制定，并得到中国电子学会的认可，旨在培养青少年计算机科学素养和编程能力。通过参加这一考试，青少年可以检验自己的学习成果，增强自信心和竞争力，同时为他们未来在计算机科学领域的深入学习和职业发展打下坚实的基础。 二、考试内容与形式 CSP-J考试主要面向入门级别的青少年，考察内容侧重于计算机基础知识和算法的理解。考试形式分为初赛（笔试）和复赛（机试），即CSP-J1与CSP-J2。 初赛（CSP-J1）：侧重于理论知识的考核，包括计算机基础知识、算法基本概念等，以笔试形式进行。 复赛（CSP-J2）：更侧重于上机编程能力的实践考察，要求参赛者在计算机上完成编程任务。 参赛者必须先参加初赛，并达到一定的分数方可参加复赛。 三、报名与参与 报名方式：CSP-J/S认证面向所有对计算机科学有兴趣的青少年开放，报名和认证过程均在网上进行。认证点由CCF（中国计算机学会）授权的CSP非专业级别省认证组
机械课程设计 X Y双坐标联动数控工作台设计(全套图纸).doc
最新发布
09-21
机械课程设计 X Y双坐标联动数控工作台设计(全套图纸).doc
基于BERT模型的深度学习中文文本分类实现，包含大约20000条新闻的训练和测试集，包装有简单HTTP接口可供调用。.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
MySQL数据库的安装教程与使用心得
09-21
MySQL数据库的安装教程与使用心得
直线的点斜式方程与斜截式方程.ppt
09-21
直线的点斜式方程与斜截式方程.ppt
人工智能技术面试指南人工智能技术面试指南
09-21
内容概要：本文提供了一套与人工智能相关的面试问题及其详细解答，涉及的基础知识点有机器学习的概念及其实现形式（例如监督学习与无监督学习）、常见优化算法的应用（比如梯度下降法）；探讨模型评估指标的选择（如分类任务的精度指标、回归模型的平方损失等）、解决过拟合现象的技术措施等，并具体剖析了深度学习尤其是卷积神经网络的工作机制。这份材料是应聘者准备技术岗特别是AI相关职位的理想助手。 适用人群：求职时希望专注于 AI 技术领域的人群；具有一定 AI 背景的研究人员和技术从业者。 使用场景及目标：适合于复习与巩固基本技能，在面试过程中表现出较强的专业能力和理解力。 其他说明：本资料全面介绍了人工智能基础知识、主要工具技术和常用评价方式的相关概念和技巧，有助于应聘者更好地应对技术岗位的考核与挑战。
【5层】公司办公楼全套设计+++（3156平，含计算书、建筑图，结构图、实习报告，PKPM，答辩PPT).zip
09-21
【5层】公司办公楼全套设计+++（3156平，含计算书、建筑图，结构图、实习报告，PKPM，答辩PPT) 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。
JavaEE大作业 计算机学科竞赛网站及报名系统
09-21
JavaEE制作学科竞赛报名系统的意义在于：便利性：提供了一个集中、统一的平台，方便学生和教师在线完成报名、缴费、上传资料等操作，避免了繁琐的手工流程，提高了工作效率。
电子设计论文文档资料鸟鸣报警器电子设计论文文档资料鸟鸣报警器
09-21
电子设计论文文档资料鸟鸣报警器电子设计论文文档资料鸟鸣报警器
java-ssh-jsp-mysql图书管理系统实现源码(项目源码-说明文档)
09-21
网站的首页，主要实现了对首页信息的展示发布，能够展示最新的图书信息，并能查看相关的新闻信息，电子书的下载等 网站的后台登录主要实现了后台信息的登录，管理员输入用户名和密码就可以登录进入后台进行相关的操作 项目关键技术 开发工具：IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7+ 后端技术：ssh 前端技术：jsp 关键技术：jsp、spring、ssm、ssh、MYSQL、MAVEN 数据库工具：Navicat、SQLyog
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值