从0搭建CDH，非root用户版本

最新推荐文章于 2024-05-14 08:40:42 发布
最新推荐文章于 2024-05-14 08:40:42 发布
阅读量1.3k 收藏 3
点赞数 4
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45022673/article/details/130442245
版权

看了很多文章，觉得和实操还是有些出入，就手搭建了一次看看，也算做个备忘

  1. 配置网络
目前的状态是vmware启用虚拟机，网络选择桥接，已启动成功
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static # 更改项目
ONBOOT=yes # 更改项目
# 新增项目
IPADDR=192.168.124.121、120 
NETMASK=255.255.255.0 # 子网掩码
GATEWAY=192.168.124.1
DNS1=114.114.114.114

重启网卡生效即可

service network restart
  1. 更改主机名&&配置用户
 hostnamectl set-hostname master
 hostnamectl set-hostname slave
 
vim /etc/hosts
192.168.124.120 master.pro
192.168.124.121 slave.pro

groupadd hadoop
useradd hadoop -g hadoop
passwd hadoop

chmod 777 /etc/sudoers
vim /etc/sudoers
hadoop  ALL=(ALL)       NOPASSWD:ALL
chmod 440 /etc/sudoers
  1. hadoop用户免登陆
    su hadoop
 ssh-keygen -t rsa
 cd ~/.ssh/
 ssh-copy-id master (slave)
  1. 关闭防火墙
sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service
systemctl status firewalld
  1. 关闭selinux（需重启才能生效）
sudo sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
  1. 禁用透明大页面
 sudo vim /etc/rc.d/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
sudo chmod +x /etc/rc.d/rc.local
  1. 修改Linux swappiness(所有节点)
sudo vim /etc/sysctl.conf
vm.swappiness=10
  1. 安装jdk
sudo  cp /opt/CDH/cdh6.3.2/CM安装包/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm /opt/
cd /opt/
sudo rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

find / -name java

sudo  vim  /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=.:$JAVA_HOME/bin:$PATH

source /etc/profile
  1. ntp 时间同步
    – master
sudo yum install -y ntp

sudo vim /etc/ntp.conf
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

server 127.127.1.0
fudge 127.127.1.0 stratum 10

sudo vim /etc/sysconfig/ntpd
SYNC_HWCLOCK=yes

sudo systemctl restart ntpd.service
sudo systemctl enable ntpd.service

slave

crontab -e
*/10 * * * * /usr/sbin/ntpdate master
  1. mysql安装
master节点
sudo cp -r /opt/CDH/cdh6.3.2/mysql /opt/
sudo yum remove mysql-libs
sudo yum install libaio
sudo yum -y install autoconf
cd /opt/mysql/
sudo  rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm
sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm
sudo  rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm --force --nodeps
sudo systemctl start mysqld
-- 查看密码
sudo cat /var/log/mysqld.log | grep password
mysql -uroot -p'-dQt5l:ed#C!'
set password=password("Fulin@888");
set global validate_password_length=4;
set global validate_password_policy=0;
use mysql
update user set host="%" where user="root";
flush privileges;
  1. mysql 配置
    sudo vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED

symbolic-links = 0


key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1


max_connections = 550



log_bin=/var/lib/mysql/mysql_binary_log


server_id=1


binlog_format = mixed


read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M



innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M


[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

service mysqld restart
mysql -uroot -p

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm@123W';

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon@123W';

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman@123W';

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue@123W';

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'metastore'@'%' IDENTIFIED BY 'metastore@123W';

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry@123W';

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav@123W';

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms@123W';

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie@123W';

flush privileges;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Fulin@888' WITH GRANT OPTION;
FLUSH PRIVILEGES;
  1. 传JDBC包
sudo mkdir -p /usr/share/java
sudo cp /opt/mysql/mysql-connector-java-5.1.48.jar /usr/share/java
sudo mv /usr/share/java/mysql-connector-java-5.1.48.jar /usr/share/java/mysql-connector-java.jar
sudo sudo scp /usr/share/java/mysql-connector-java.jar slave.pro:/usr/share/java/
  1. CM 安装
    master
sudo mkdir -p /var/www/html/cloudera-repos/cm6/
sudo cp /opt/CDH/cdh6.3.2/CM安装包/* /var/www/html/cloudera-repos/cm6/
sudo yum -y install httpd createrepo
sudo systemctl start httpd && sudo  systemctl enable httpd
sudo cd /var/www/html/cloudera-repos/cm6/ && sudo createrepo .
sudo mkdir -p /var/www/html/cloudera-repos/cdh6/
sudo cp -r /opt/CDH/cdh6.3.2/CDH安装包/* /var/www/html/cloudera-repos/cdh6/
sudo cd /var/www/html/cloudera-repos/cdh6/ && sudo createrepo .
-- 构造yum
遇到问题：
没有repo文件
解决办法
到sudo cd /var/www/html/cloudera-repos/cdh6/cm6下面
 sudo createrepo --update .
 即可出现文件
 sudo vi /etc/yum.repos.d/cloudera-repo.repo
 
[cloudera-repo]
name=cloudera-repo
baseurl=http://192.168.124.120/cloudera-repos/cm6/
enabled=1
gpgcheck=0

sudo yum clean all
sudo yum makecache
  1. 启动
    master 节点
sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

slave 节点

sudo yum install cloudera-manager-daemons cloudera-manager-agent
  1. 源数据建立
sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm@123W
  1. cm 启动
sudo systemctl start cloudera-scm-server
  1. 页面操作
    看这个

选择存储库
http://192.168.124.120/cloudera-repos/cm6/
更多选项 ----> http://192.168.124.120/cloudera-repos/cdh6/

提供 SSH 登录凭据
hadoop hadoop[非root用户]
继续即可

要努力学习啊男神
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH6.1.1全离线安装RPM依赖包
03-02
依赖基于OS版本为CentOS-7-x86_64-Minimal-1810.iso，其他的系统可能依赖不同，请自主选择，其中包含的rpm安装包有： bind-utils, cyrus-sasl, fuse, fuse-libs, httpd, libtidy, libxslt, mod_ssl, mysql-python, nc, net-tool, ntp, openssl-devel, portmap, python-psycopg2, python-setuptools, redhat-lsb
CDH最新版本5.15.1下载
11-19
CDH最新版本的安装包下载，CDH5.15.1下载，直接下载安装
centos7.5非root用户安装CDH6.0
weixin_36375017的博客
06-29 827
本人有道云笔记： 文档：centos7.5非root用户安装CDH6.0-192.16... 链接：http://note.youdao.com/noteshare?id=473893be55548aab04c5319a47dc1629
2024年大数据最新CDH集群6，大数据开发通用流行框架大全
2401_84183669的博客
05-13 926
注意此处有坑：对于MySQL5.7高版本，启动CM Server连接MySQL时可能会报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException异常，原因是默认开启了SSL认证，相当于useSSL=true，解决方法就是在配置中添加skip-ssl重启MySQL服务，另外[mysqld_safe]配置项已废弃不用，以下的配置均已经过验证。用于各节点连接数据库，Cloudera要求必须创建在/usr/share/java目录下才能被组件使用。
my.ini修改后服务无法启动_0520-如何使用非root用户启动CM的Server和Agent服务
weixin_39585675的博客
11-30 283
1.文档编写目的根据前面的安装文档，我们知道CDH的安装只能使用root或者具有sudo权限的用户进行安装，但大多数企业对于服务器的root用户的管控比较严格，大多数情况下都不能够直接使用或者需要申请比较麻烦。对于这种情况，Cloudera官方提供了一种单用户安装CDH的模式，参考Fayson前面的文章《0517-如何在CDH5中使用单用户模式》。但实际情况是这种方法非常麻烦，官方其实也不建议使用...
CDH5安装
空中的鱼
08-05 120
CDH安装有很多方式： [list] [*]tar包安装，从官网上下载tar包，此种方式类似apache版本hadoop，配置和部署相对来说麻烦。 [*]cloudera manager parcels安装，此种方式最方便、最省事，但如果是国内网的话，期间下载包会非常慢，而且每个节点分别下载。建议直接在官网下载rpm包，手动分发到各个节点yum localinstall安装好后，再使用clo...
Cloudera Manager及CDH最新版本安装全程记录
weixin_34362790的博客
03-21 834
大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Manager工具，而且还封装了Apache Hadoop,flume,spark，hive,hbase等大数据产品形成自己特色的CDH产品，再使用CM进行安装，很大程度上方便了集群的搭建，并提供了集群的监控功能。 一、环境: 1.三台VMware虚拟机(一个做为主节点，两个做为...
CDH集群搭建手册
03-15
CDH集群搭建手册 CDH（Cloudera Distribution of Hadoop）是一种基于 Apache Hadoop 的大数据解决方案，提供了一个功能...以上是 CDH 三节点基于 CentOS 6.8 的安装和卸载教程，旨在帮助用户快速搭建 CDH 集群环境。
Docker搭建大数据平台CDH
10-27
"Docker 搭建大数据平台 CDH" 本文档将指导您使用 Docker 搭建大数据平台 CDH，包括安装 Docker、导入镜像、启动容器、配置 HDFS 节点等步骤。 安装 Docker 在开始之前，需要先安装 Docker。在 CentOS 系统中，...
CDH搭建hadoop流程.doc
06-29
- **下载**：从Cloudera官方网站获取对应版本的CDH软件包，确保所有节点都准备了相同版本的软件。 3. **系统配置优化**： - **关闭防火墙**：使用`service iptables stop`、`service iptables off`和`chkconfig ...
CDH跨版本升级
08-23
CDH跨版本升级详细步骤
Cloudera Manager6.2.1及CDH最新版本安装全程记录
12-22
Cloudera Manager6.2.1
CDH免费版&收费版比较.xlsx
03-06
CDH免费版&收费版比较，自己在官方一点一点的比较的，资源稀缺国内无法访问 CDH免费版&收费版比较，自己在官方一点一点的比较的，资源稀缺国内无法访问
cloudera manager 安装cdh 搭建大数据集群，详细讲解核心
08-03
Cloudera Manager 安装 CDH 搭建大数据集群核心知识点 一、Cloudera Manager 安装方法 Cloudera Manager 安装 CDH 集群有多种方法，主要分为 Server 端和 Agent 端安装。 1. Server 端安装： * 使用 yum 安装 cm...
从零开始搭建CDH（二）
wyj1023405602的博客
08-04 426
上一篇，我们从零开始搭建好了ClouderaManager的安装环境。 接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。 创建集群并安装HDFS服务 选择功能授权版本 ->> 创建集群 ->> 为集群添加服务 1. 版本选择 1.1 使用默认用户名密码登录CM 用户名：admin 密码：admin 1.2 登录成功来到环境界面-继续 ​​​​​1.3 接受许可条款-继续 1.4 根据需要选择版本-继续 我们这里选择免费版,免费版的CDH...
2024年最新CDH6(1)，【性能优化实战
最新发布
2301_82244122的博客
05-14 998
CDH 小版本#CDH大版本CDH_MIN=5CDH_MAX=6。
CDH 6.3.2升级Flink到1.17.1版本
m0_48830183的博客
09-27 951
cd 到/opt/cloudera/parcels/FLINK-1.17.1-BIN-SCALA_2.12/lib/flink/bin目录下，执行./yarn-session.sh -jm 1024 -tm 1024 -s 2 -d命令。2.4 将flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar 复制到/opt/cloudera/parcels/FLINK/lib/flink/lib/下。FlINK-1.12.1 属于旧的版本的东西，做备份用。
cdh 6.x、cdh 5.16.x、cdh 5.15.x、cdh 5.14.x、cdh 5.12.x组件对应版本
weixin_42286868的博客
03-12 4036
cdh 版本对应组件版本 点击跳转到相应版本 CDH 6.2.1 CDH 6.2.0 CDH 5.16.2 CDH 5.16.1 CDH 5.15.2 CDH 5.15.1 CDH 5.15.0 CDH 5.14.4 CDH 5.14.2 CDH 5.14.0 回到目录???? CDH 6.2.1 Packaging 组件 版本 Version 备注 Apache Avro 1.8....
aarch64搭建cdh
07-24
### 回答1： aarch64是一种基于ARM架构的64位处理器架构，它提供了更高的性能和更低的功耗，因此越来越多的厂商和用户选择使用aarch64平台搭建大数据处理和存储的基础设施。 CDH（Cloudera Distribution for Hadoop）是一种基于Hadoop生态系统的大数据处理平台，它提供了包括Hadoop、Spark、Hive、HBase等多个组件，用于处理海量的结构化和非结构化数据。 搭建aarch64架构的CDH平台需要以下步骤： 1. 硬件选择：选择适合aarch64架构的服务器和存储设备，例如市场上的aarch64服务器，确保硬件支持aarch64系统。 2. 操作系统选择：选择支持aarch64架构的操作系统，如CentOS、Ubuntu等Linux发行版。可以从官方网站下载aarch64架构适用的操作系统镜像。 3. 安装JDK：在aarch64架构的服务器上安装适合的JDK（Java Development Kit），例如OpenJDK。可以通过包管理器或手动下载安装。 4. 下载CDH：从Cloudera官方网站下载适用于aarch64架构的CDH安装包，可以选择全套的CDH发行版或根据需求选择部分组件。 5. 解压安装包：将下载的CDH安装包解压到指定的目录，并设置环境变量，以便在任何位置都可以运行CDH命令和脚本。 6. 配置CDH：根据实际需求，修改CDH的配置文件，如hadoop-env.sh、hdfs-site.xml等，配置相关的参数，如内存分配、数据存储路径等。 7. 启动CDH：使用CDH提供的启动脚本，启动Hadoop、Spark等各个组件，确保它们能够正常运行并相互通信。 8. 测试CDH：使用各个组件提供的命令和接口，对CDH平台进行功能和性能测试，确保其稳定性和可用性。 总结起来，搭建aarch64架构的CDH平台需要选择适合的硬件、操作系统和JDK，下载CDH安装包并解压配置，最后启动各个组件并进行测试。这样可以搭建一个适用于aarch64架构的分布式大数据处理平台，满足海量数据处理和存储的需求。 ### 回答2： AARCH64指的是一种64位的ARM处理器架构。搭建CDH（Cloudera Distribution including Apache Hadoop）主要是指在AARCH64处理器架构上建立CDH集群。 首先，需要在AARCH64处理器架构的机器上安装操作系统，如CentOS或Ubuntu。确保操作系统版本和内核支持AARCH64架构。 接下来，下载CDH软件包并解压。CDH由多个组件组成，包括Hadoop、Hive、HBase、Spark等。根据实际需要选择下载相应的组件。 在CDH集群中，至少需要一个主节点和多个工作节点。主节点负责协调集群中的各个组件，而工作节点执行实际的计算任务。 配置CDH集群的主节点，需要编辑相应的配置文件，如hdfs-site.xml、core-site.xml和mapred-site.xml。其中，hdfs-site.xml用于配置分布式文件系统（HDFS），core-site.xml用于配置Hadoop的核心设置，mapred-site.xml用于配置MapReduce任务的参数。 配置工作节点的操作类似，也需要编辑相应的配置文件。 安装CDH集群的各个组件（如HDFS、Hive和HBase）需要按照官方文档的指引进行。 一般来说，在AARCH64架构上搭建CDH集群和在x86架构上搭建CDH集群的步骤是类似的，只是需要下载和配置适用于AARCH64架构的软件包。 最后，启动CDH集群并进行测试。可以使用hadoop fs命令测试HDFS是否正常工作，使用Hive或HBase进行数据查询操作。 总之，搭建AARCH64上的CDH集群需要安装适用于AARCH64架构的操作系统和软件包，并进行相应的配置和安装操作。完成后，即可在AARCH64架构上运行CDH集群，并进行大数据处理任务。 ### 回答3： aarch64是一种基于ARM架构的64位处理器，而CDH是Cloudera发行的Hadoop生态系统的一个版本。搭建CDH集群需要以下步骤： 1. 硬件建议： 在搭建CDH之前，需要确保有足够的硬件资源。对于aarch64架构，建议至少配置2个以上的物理机器，每个机器至少拥有16个CPU核心、64GB内存和1TB的存储空间。此外，确保机器之间有高速网络连接。 2. 操作系统选择： 选择一个支持aarch64架构的操作系统作为基础。常用的操作系统有CentOS/RHEL、Ubuntu等，需要确保操作系统版本兼容aarch64架构。 3. 安装Java： CDH需要Java环境来运行，因此需要安装适用于aarch64架构的Java JDK。可以通过官方网站下载适用于aarch64的Java JDK，并按照指引进行安装。 4. 下载和安装CDH： 在Cloudera官方网站上下载适用于aarch64架构的CDH版本。解压下载的文件，并按照官方文档中的指引进行安装。安装过程中需要指定CDH集群的配置参数，如Master节点的IP地址、HDFS存储路径等。 5. 配置CDH集群： 安装完CDH后，需要通过配置文件进行基本的集群配置。配置文件主要包括hadoop-env.sh、hdfs-site.xml、core-site.xml等。具体的配置参数取决于集群规模和需求，按照官方文档配置相关参数。 6. 启动CDH服务： 完成集群配置后，可以启动CDH服务。使用start-all.sh命令来启动所有CDH组件，包括HDFS、YARN、Hive等。在启动之前，需要确保所有机器上的服务都已正常配置并启动。 7. 验证CDH集群： 启动CDH服务后，可以通过浏览器访问Cloudera管理界面，验证CDH集群是否正常运行。在管理界面中，可以查看各个组件的运行状态、监控集群性能、运行MapReduce任务等。 通过以上步骤，可以在aarch64架构的硬件上搭建CDH集群，并利用该集群进行大数据处理和分析。需要注意的是，由于aarch64架构的特殊性，部分CDH组件可能需要对源代码进行编译或适配才能在该架构上正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值