大数据-CDH
文章平均质量分 78
夏虫不可语冰★
一切都是最好的安排
展开
-
CDH6.2.1集成Atlas2.1.0 详解
一、Atlas源码下载官网:http://atlas.apache.org/下载地址:https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz二、pom.xml文件修改<hadoop.version>3.0.0-cdh6.2.1</hadoop.version><hbase.version>2.1.0-cdh6.2.1</hbase.version原创 2020-11-09 17:34:46 · 1068 阅读 · 3 评论 -
CDH gateway 不适用
前因:在部署cdh后发现spark、hive等的gateway状态显示不适用,就搜了一下,没有找到一条合适答案,所以就去cdh的官网找,皇天不负有心人呀,被我找到了官网链接:https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_managing_roles.html#managing_roles意思大意:网关是一种特殊类型的角色,其唯一目的是指定一个主机,当该主机上没有运行任何角色时,该主机应接收特定服务原创 2020-10-27 17:32:11 · 3129 阅读 · 3 评论 -
CDH6.2.1 hdfs 高可用配置
1.先进入HDFS集群的管理界面2. 启用 HDFS 的 High Availability3. 自定义名称4. 分配角色5. JournalNode 编辑目录6. 启用 High Availability 命令7. 访问Web UI原创 2020-10-22 20:50:31 · 1213 阅读 · 1 评论 -
Cloudera Manager 6.2.1安装详解
一、环境准备1、Linux环境1.1关闭防火墙 #Centos7查看防火墙状态 systemctl status firewalld #临时关闭防火墙 systemctl stop firewalld #永久关闭防火墙 systemctl disable firewalld1.2 关闭selinuxvim /etc/selinux/config 默认是关闭的1.3 修改Linux swapping参数 #查看 cat /proc/sys/vm/swappiness原创 2020-10-22 18:52:34 · 1832 阅读 · 1 评论 -
Cloudera Manager 配置
欢迎页初始默认账号和密码都是admin集群名称配置集群主机节点选择存储库JDK安装SSH登录凭证Agent 安装CDH 下载与安装检查集群网络环境警告信息如下:解决方法:1、改Linux swapping参数echo 0 > /proc/sys/vm/swappiness永久生效vim /etc/sysctl.conf添加vm.swappiness=02、- 禁止透明页echo never > /sys/kernel/mm/transpar原创 2020-10-16 14:34:17 · 808 阅读 · 0 评论 -
cdh6添加主机详解
一、修改主机hostname 1、 hostnamectl set-hostname <new-hostname> 2、 vim /etc/hostname二、安装jdk下载并解压下载地址:https://www.oracle.com/java/technologies/oracle-java-archive-downloads.html解压:mkdir /usr/javatar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/java原创 2020-09-11 11:35:35 · 1033 阅读 · 0 评论 -
CDH6 配置Flink1.10(编译安装)
以下包含了CDH6整合Flink1.10编译安装的全过程以及趟过的坑,供大家参考、避坑。一、环境 CDH 6.2.1(Hadoop 3.0.0)、Flink 1.10.1、Centos7.7、Maven 3.6.3、Scala-2.12和JDK1.8二、安装包 1、flink1.10.1 tar包 https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.1/flink-1.1...原创 2020-06-19 16:40:17 · 3241 阅读 · 15 评论