CDH
文章平均质量分 94
CDH的安装过程,卸载,使用和组件高版本安装
star-hash
这个作者很懒,什么都没留下…
展开
-
Centos7离线安装CDH5.16集群
手里有三台服务器,每台16内存,磁盘大小100G,搭建CDH集群版本如下:Centos7.6.1810Mysql5.6.50Cloudera-manager5.16.2本文参考了网络上的CDH安装的文章https://blog.csdn.net/czz1141979570/article/details/86658416)https://blog.csdn.net/weixin_40079336/article/details/86648553https://blog.csdn.net/原创 2021-01-19 14:36:52 · 292 阅读 · 0 评论 -
HDFS Gateway 报错 :Failed to delete file or dir [/tmp/.hdfs-nfs]: it still exists.
tmp没有权限,所有Gateway节点都弄chmod 777 /tmp 重启Hdfs原来的权限是drwxrwxrwt这是只允许root用户来操作的目录执行完后 权限会改成drwxrwxrw变成了所有用户可以操作的目录原创 2020-11-12 10:02:16 · 824 阅读 · 0 评论 -
CDH5.16.2安装Kafka4.1.0
安装Kafka,需要下载Parcel包Kafka.parcel下载地址:http://archive.cloudera.com/kafka/parcels/4.1.0/安装过程将下面的三个文件上传到/opt/cloudera/parcel-repo目录下把sha1改成sha在7180页面进行解压和激活Kafka服务...原创 2020-11-12 09:36:05 · 510 阅读 · 1 评论 -
CDH5.16.2安装Spark2.4
安装了好几次才成功,做做笔记CDH安装时,用的离线安装,下载parcel包进行操作上面的这四个都得下载下来,manifest.json和parcel的可以在一起下载Spark2.4.0下载地址:https://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/Yarn的下载地址:http://archive.cloudera.com/spark2/csd/选择对应版本的进行下载下载完毕进行上传安装过程将下面的三个文件上传到/opt/原创 2020-11-12 09:15:13 · 505 阅读 · 1 评论 -
‘com.cloudera.server.cmf.TrialState‘:Cannot resolve reference to bean ‘entityManagerFactoryBean‘
今天CDH突然报错,先重启了一下CM,然后在重试,结果还是不行,WebUI打不开报错内容2020-11-10 13:32:36,827 ERROR 100851968@scm-web-6023:org.mortbay.log: /cmf/j_spring_security_checkjava.lang.RuntimeException: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCExceptio原创 2020-11-10 14:37:04 · 713 阅读 · 0 评论 -
Sqoop1导入hdfs/hive数据
CDH先安装了Sqoop2,以为用法一样,只是结构不一样了,后来发现用法完全不一样,又把sqoop给装了回来,还复习了一波hadoop1 是我的Mysql安装机器exercise Mysql中测试的的数据库test_table Mysql exercise数据库的测试表文章目录sqoop查询mysql的数据库sqoop查看指定数据库的表把mysql表的表结构导入到hive中把mysql的数据导入到hive中append增量导入数据lastmodified增量导入选项含义原创 2020-11-09 14:03:33 · 873 阅读 · 0 评论 -
CDH5.16 Spark2安装成功但启动失败
启动Spark的时候会一直报一个错原创 2020-11-09 09:04:28 · 364 阅读 · 0 评论 -
Kafka2.2.*CDH命令行命令
查看所有topickafka-topics --list --bootstrap-server hadoop1:9092,hadoop2:9092,hadoop3:9092生产者kafka-console-producer --broker-list hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic TP_LABEL消费者kafka-console-consumer --bootstrap-server hadoop1:9092,hado.原创 2020-11-06 21:38:48 · 343 阅读 · 0 评论 -
CDH5.16卸载
集群卸载,因为一些搞不定的问题,所以卸载重装一遍本文参考https://blog.csdn.net/weixin_35852328/article/details/817746271、停掉你的所有服务,包括cm2、停止完毕服务后,把之前安装的parcel的包 停用-删除下面的图是开头博主的图3、删除你的cluster4、停止你的进程/opt/cm-5.16.2/etc/init.d/cloudera-scm-server stop/opt/cm-5.16.2/etc/init.d原创 2020-11-06 10:09:40 · 277 阅读 · 0 评论 -
Centos7离线安装CDH5.16集群
手里有三台服务器,每台16内存,磁盘大小100G,搭建CDH集群版本如下:Centos7.6.1810Mysql5.6.50Cloudera-manager5.16.2本文参考了网络上的CDH安装的文章https://blog.csdn.net/czz1141979570/article/details/86658416)https://blog.csdn.net/weixin_40079336/article/details/86648553https://blog.csdn.net/原创 2020-11-06 09:14:03 · 236 阅读 · 1 评论