CDH6报错解决全记录

已于 2022-05-22 21:28:32 修改
阅读量4.4k 收藏 10
点赞数
文章标签： hadoop 服务器 大数据
于 2021-08-24 11:11:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28371057/article/details/119885777
版权
本文详细记录了CDH6在3台服务器上的安装过程，包括环境准备、CDH安装步骤以及遇到的各种异常及解决方案。从服务器配置、环境设置到CDH组件的安装，涵盖SqlExceptionHelper错误、log4j2配置问题、主机状态不良等多个故障排查和解决方法。
摘要由CSDN通过智能技术生成

一、服务器准备

1、服务器配置

准备3台服务器，建议最低配置如下（阿里云大约每台每月六百多）：
centos7.4 8c 16G

39.101.192.109 node001
39.101.179.3 node002
39.99.236.205 node003

为服务器开启外网端口访问
7180、8900

2、下载安装包

把下面列出的共12个文件下载到一台文件服务器上

下载cdh文件到/var/www/html/cloudera-repos/目录
（1）https://archive.cloudera.com/cdh6/6.0.0/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel
（2）https://archive.cloudera.com/cdh6/6.0.0/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha256
（3）https://archive.cloudera.com/cdh6/6.0.0/parcels/manifest.json

下载repo支持文件到/var/www/html/cloudera-repos/repodata/目录
（4）https://archive.cloudera.com/cdh6/6.3.2/redhat7/yum/repodata/repomd.xml
（5）https://archive.cloudera.com/cdh6/6.3.2/redhat7/yum/repodata/3224703272392229e02b46c2ef95286e92cce148a07c04752bcfe98870bfd675-primary.sqlite.bz2
（6）https://archive.cloudera.com/cdh6/6.3.2/redhat7/yum/repodata/4f1d5a908a6b4fd79988109121695168a65ef0846f178bbf32dc99f92c7cef36-filelists.sqlite.bz2

下载cm文件到/var/www/html/cloudera-repos/RPMS/x86_64/目录
（7）https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.0.0-530873.el7.x86_64.rpm
（8）https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.0.0-530873.el7.x86_64.rpm
（9）htt

最低0.47元/天 解锁文章
青年夏日科技
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
hadoop基础----hadoop实战(九)-----hadoop管理工具---CDH的错误排查(持续更新)
直到世界的尽头
11-29 1万+
啊解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的，几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步，不是跳跃式同步，如果设置得不好的话，很难校验出它同步成功了没，总感觉会缺少几秒钟的感觉。有一种解决方法是  我们这里不用NTP的自动同步，而是使用crond每分钟ntpdate 跳跃式同步一次。这种方法
CDH安装失败，如何重新安装
sysocc的博客
01-12 2177
CDH安装失败，如何重新安装
CDH集群安装出现问题参考
萌兔兔MMQ！！
04-07 1458
一、登录Cloudera Manager (http://192.168.201.128:7180/cmf/login)时，无法访问web页面 针对此问题网上有较多的解决方案（e.g. https://www.cnblogs.com/zlslch/p/7078119.html)， 如果还不能解决你的问题，请看下面的解决方案。 登录MySQL数据库（或利用Navicat），会发现有一个mysql数据库（下图所示），在mysql数据库中有一个user表，将User="root"的两条记录进行删除 select
CDH6.2.1 HiveOnSpark 报错问题解决
蝈蝈
11-17 2114
1 CDH6.2.1 HiveOnSpark 报错解决 错误1： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException Operation category READ is not supported in state standby. Visi
cdh6.x 配置kerberos，报错 init: No key table entry found for USERNAME-REDACTED while getting initial cred
尤托匹亚的博客
08-26 256
【代码】cdh6.x 配置kerberos，报错 init: No key table entry found for USERNAME-REDACTED while getting initial cred。
CDH6.3.0 报错汇总
热门推荐
刘李404not_found的博客
08-22 1万+
报错一、 Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。 解决方案 临时生效： sysctl vm.swappiness=...
CDH-6.0.1 配置&错误解决
疯飙的蜗牛
07-21 3462
一、配置前准备&系统配置 1、服务器准备 10.2.33.96 cdh.manager1.ops 10.2.33.97 cdh.data1.ops 10.2.33.98 cdh.data2.ops 10.2.33.99 cdh.data3.ops 2、安装包准备 jdk: oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm mysql: mysql-community-clie...
CDH集群大数据hadoop报错解决办法及思路整理-绝对干货
12-22
CDH集群大数据hadoop报错解决办法及思路整理，主要解决大数据在运行过程中所遇到的问题，相关解决办法都是实践验证过。
CDH6安装脚本+文档全套资料
04-29
CDH6，全称Cloudera Data Hub 6，是Cloudera公司提供的一款大数据管理平台，包含了Hadoop生态系统中的多种组件，如HDFS、YARN、HBase、Spark、Kafka等。此套“CDH6安装脚本+文档全套资料”提供了在CentOS 7.4系统上...
CDH6.2.0最全安装包
04-07
CDH6.2.0最全安装包，包括管理服务以及客户端软件，还包括mysql5.7的安装包。
cdh6.3.2安装包全套
05-17
. ├── CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel ├── CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 ├── CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 ├── GPLEXTRAS-parcels │   ├── GPLEXTRAS-6.3.2-1.gplextras6.3.2.p0.1605554-el7.parcel │   ├── GPLEXTRAS-6.3.2-1.gplextras6.3.2.p0.1605554-el7.parcel.sha1 │   ├── GPLEXTRAS-6.3.2-1.gplextras6.3.2.p0.1605554-el7.parcel.sha256 │   └── manifest.json ├── allkeys.asc ├── cm6.3.1 │   ├── RPM-GPG-KEY-cloudera │   ├── RPMS │   │   ├── noarch │   │   └── x86_64 │   │   ├── cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm │   │   ├── cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm │   │   ├── cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm │   │   ├── cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm │   │   ├── enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm │   │   └── oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm │   ├── SRPMS │   └── repodata │   ├── 3662f97de72fd44c017bb0e25cee3bc9398108c8efb745def12130a69df2ecb2-filelists.sqlite.bz2 │   ├── 43f3725f730ee7522712039982aa4befadae4db968c8d780c8eb15ae9872cd4d-primary.xml.gz │   ├── 49e4d60647407a36819f1d8ed901258a13361749b742e3be9065025ad31feb8e-filelists.xml.gz │   ├── 8afda99b921fd1538dd06355952719652654fc06b6cd14515437bda28376c03d-other.sqlite.bz2 │   ├── b9300879675bdbc300436c1131a910a535b8b5a5dc6f38e956d51769b6771a96-primary.sqlite.bz2 │   ├── e28836e19e07f71480c4dad0f7a87a804dc93970ec5277ad95614e8ffcff0d58-other.xml.gz │   ├── repomd.xml │   ├── repomd.xml.asc │   └── repomd.xml.key └── manifest.json
CDH 安装 大数据组件 报错
01-07
使用CDH来安装大数据组件的时候，当安装到YARN、Hbase、Spark的时候报错，主要原因是YARN、Hbase、Spark在HDFS里面没有权限去创建文件 Spark SecurityManager: authentication disabled; ui acls disabled; users ...
CDH 运维中遇到的问题
h952520296的博客
08-03 1784
虽然名字是404 其实是权限问题 查一下opt/cloudera/parcel-cache/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent 的权限吧 应该是640 改成644就好了。
027-解决cdh6.2中datanode无法启动问题
weixin_34185560的博客
06-20 1262
这是坚持技术写作计划（含翻译）的第27篇，定个小目标999，每周最少2篇。 今天安装cdh时遇到hdfs启动失败问题，解决起来倒是不麻烦，简单记录下。 关键信息 java.io.IOException: Incompatible clusterIDs in /dfs/dn: namenode clusterID = cluster74; datanode clusterID = cluste...
CDH6集群详细部署过程
Harry Wong的博客
12-07 1274
摘要CDH6大数据集群部署详细过程记录。 CDH集群安装 版本信息 cm-6.3 cdh-6.3 mysql-5.7 CM下载 https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/ 下载allkeys.asc https://archive.cloudera.com/cm6/6.3...
CM部署CDH安装组件到Hive时报错： Cause:Table 'scm.VERSION' doesn't exist.
集北卡卡罗特的博客
05-12 3726
Cloudera Manager部署CDH到首次运行页面，安装运行Hive时，报错：HiveMetaException: Failed to get schema version, Cause:Table ‘metastore.VERSION’ doesn’t exist。 报错背景： CM和CDH版本为5.15.2 ①初始化CM数据库时执行的命令是： ./scm_prepare_database.sh mysql scm scm 即数据库类型是MySQL，scm数据库，scm数据库用户； ②在“首次运行”
CDH安装错误集锦
weixin_42733888的博客
06-13 956
CDH安装过程中出现的错误 1、iptables: /sbin/iptables 不存在 我是因为误删将 /sbin/下的文件删除了。 解决方法： yum install iptables 2、com.mysql.jdbc.execptions.jdbc4.CommunicationsException:Communication link failure 连接MySQL 的驱动包找不到。 解决方...
Hadoop3：NameNode和DataNode多目录配置（扩充磁盘的技术支持）
最新发布
Brave_heart4pzj的博客
07-03 370
Hadoop
liunx 安装ml-agents环境
04-03
1. 安装Anaconda环境 Anaconda是一个开源的Python发行版本，内置了许多常用的Python包和工具，如numpy、matplotlib等。我们可以通过Anaconda来管理我们的Python环境，方便我们对不同的项目使用不同的Python环境。 下载Anaconda：https://www.anaconda.com/products/distribution 安装Anaconda：下载安装包后，直接运行安装程序，按照提示完成安装即可。 2. 创建虚拟环境 在Anaconda中，我们可以通过创建虚拟环境来管理我们的Python环境。因为ml-agents需要使用Unity的Python环境，我们需要创建一个与Unity相同的Python环境。 打开Anaconda Prompt终端，输入以下命令： ``` conda create -n unity python=3.6 ``` 这条命令会创建一个名为"unity"的虚拟环境，并安装Python 3.6版本。我们可以根据需要选择其他Python版本。 3. 激活虚拟环境 在创建完虚拟环境后，我们需要激活它才能使用。在Anaconda Prompt终端中，输入以下命令： ``` conda activate unity ``` 这条命令会激活名为"unity"的虚拟环境。 4. 安装ml-agents 在激活虚拟环境后，我们可以通过以下命令安装ml-agents： ``` pip install mlagents ``` 这条命令会安装ml-agents及其依赖的包。 5. 安装Unity ml-agents需要与Unity一起使用，因此我们需要先安装Unity。 下载Unity：https://store.unity.com/download-nuo 安装Unity：下载安装包后，直接运行安装程序，按照提示完成安装即可。 6. 配置Unity 安装完Unity后，我们需要在Unity中导入ml-agents的插件。具体操作如下： 在Unity中创建一个新项目，选择2D或3D模板即可。 打开菜单栏"Window"->"Package Manager"，在搜索框中输入"ml-agents"，然后点击"Install"按钮进行安装。 安装完成后，打开菜单栏"Window"->"AI"->"ML-Agents"->"Agent Settings"，在"Python"中选择我们刚才创建的虚拟环境路径，例如： ``` C:\Users\your_username\Anaconda3\envs\unity\python.exe ``` 7. 测试ml-agents环境 在安装和配置完毕后，我们可以进行简单的测试，验证ml-agents是否安装成功。 在Unity中，打开菜单栏"Window"->"AI"->"ML-Agents"->"Create New Agent"，创建一个新的Agent。 添加一个"Behavior Name"为"test"的Behavior。 在"Behavior Parameters"中，将"Behavior Type"设置为"Default". 在"Behavior Parameters"中，将"Observation Shapes"设置为"Vector Observation"，并将"Vector Observation Size"设置为1。 在"Behavior Parameters"中，将"Action Space Type"设置为"Discrete"，并将"Discrete Branches"设置为2。 在"Behavior Parameters"中，将"Output"设置为"Action". 点击"Save"按钮保存。 在菜单栏"File"->"Save Project"，保存Unity项目。 在Anaconda Prompt终端中，进入Unity项目的根目录，例如： ``` cd C:\Users\your_username\Documents\Unity Projects\test ``` 在终端中，输入以下命令： ``` mlagents-learn config\test.yaml --run-id=test --train ``` 这条命令会启动ml-agents的训练过程。 在训练过程中，我们可以在Unity中查看Agent的行为。在菜单栏"Window"->"AI"->"ML-Agents"->"Agent Monitor"中，选择刚才创建的Agent和Behavior，然后点击"Open"按钮打开Agent Monitor。 在Agent Monitor中，我们可以观察Agent的行为，以及训练过程中的reward等信息。 如果能够成功观察到Agent的行为，并且训练过程中reward等信息正常，说明ml-agents环境安装成功。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青年夏日科技

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值