【从零开始】基于CentOS 7 搭建的步骤和部分遇见的问题解决

最新推荐文章于 2023-11-23 11:48:08 发布
最新推荐文章于 2023-11-23 11:48:08 发布
阅读量209 收藏 1
点赞数
分类专栏： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leviathanwang/article/details/104475547
版权

由于我之前都是机遇CentOS 6进行学习和搭建的各种大数据的东东，比如Hive，Hbase，sqoop等等，但是目前普遍的都是使用的CentOS 7 所以我利用闲暇时间重新搭建了一次，并记录了下来，供参考，后续会再更新的 。。。

  1. 基础信息配置

    配置主机名
su root
vi /etc/hostname
配置网络
vi /etc/sysconfig/network-scripts/ifcfg-eth0

  2. firewalld关闭

    启动： systemctl start firewalld
关闭： systemctl stop firewalld
查看状态： systemctl status firewalld
开机禁用 ： systemctl disable firewalld
开机启用 ： systemctl enable firewalld

  3. 转到Mac终端上进行操作

    先检查sshd服务 -> systemctl status sshd
开启terminal连接 -> ssh root@10.211.55.10

  4. 配置sudo

    visudo

进入后，找到第91行和102行。

- 在91行的 root ALL=(ALL) ALL下面填写          		---配置这个，就可以使用sudo了。       
  hadoop  ALL=(ALL) ALL
- 在102行的 #%whell  ALL=(ALL)  NOPASSWD:ALL下面填写	--配置这个，就可以不用再输入密码了
  hadoop  ALL=(ALL) NOPASSWD:ALL
  
  
-解析：   hadoop  ALL=(ALL) ALL
	第一列：使用sudo的账号
	第二列：客户端计算机主机名
	第三列：可切换的身份
	第四列：可使用的指令，注意使用具体指令时需要使用绝对路径，多个指令用逗号分开

  5. 克隆虚拟机

    1. 删除/etc/udev/rules.d/70-persistent-net.rules文件（这个文件确定了网卡与MAC地址的绑定），在重启主机。
命令：rm /etc/udev/rules.d/70-persistent-net.rules
如果是PD中使用克隆centos 7 不需要配置以上步骤，PD会自动更新MAC地址（PD版本为15）

配置各主机名

  6. 免密登陆认证

    1. 生成相关的文件
	ssh-keygen -t rsa
	输入后，一路回车即可
2. 将公钥复制到另外一台需要免密登陆的机器上的用户的隐藏目录.ssh里,同时更名
	scp ~/.ssh/id_rsa.pub hadoop@10.211.55.1X:~/.ssh/authorized_keys
3. 确保authorized_keys的权限至少是600
4. 确保.ssh的权限至少700
5. 追加 cat authorized_keys1 >> authorized_keys

  7. 主机名和IP地址的映射关系配置

    sudo vi /etc/hosts
scp ./hosts Xxxxxxxx

  8. 安装Mysql & JDK

    终极环境变量
export PATH=$PATH:$HOME/bin
#jdk env
export JAVA_HOME=/opt/apps/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
#hadoop env
export HADOOP_HOME=/opt/apps/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#hive env
export HIVE_HOME=/opt/apps/hive
export PATH=$HIVE_HOME/bin:$PATH
#zookeeper env
export ZOOKEEPER_HOME=/opt/apps/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
#hbase environment
export HBASE_HOME=/opt/apps/hbase
export PATH=$HBASE_HOME/bin:$PATH
#Sqoop environment
export SQOOP_HOME=/opt/apps/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
#datax env
export DATAX_HOME=/opt/apps/datax
export PATH=$DATAX_HOME/bin:$PATH
#flume env
export FLUME_HOME=/opt/apps/flume
export PATH=$FLUME_HOME/bin:$PATH
#phoenix env
export PHOENIX_HOME=/opt/apps/phoenix
export PATH=$PHOENIX_HOME/bin:$PATH
#kylin env
export KYLIN_HOME=/opt/apps/kylin
export PATH=$KYLIN_HOME/bin:$PATH
#zeepling env
export ZEPPELIN_HOME=/opt/apps/zeppelin
export PATH=$ZEPPELIN_HOME/bin:$PATH
#spark env
export SPARK_HOME=/opt/apps/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
#kafka env
export KAFKA_HOME=/opt/apps/kafka
export PATH=$KAFKA_HOME/bin:$PATH

    查找默认密码：
cat /var/log/mysqld.log | grep password
mysql -u root -pXXXXXXXx

修改mysql时，提示密码过于简单：则设置如下
set global validate_password_policy=0; 
set global validate_password_mixed_case_count=0; 
set global validate_password_number_count=3; 
set global validate_password_special_char_count=0; 
set global validate_password_length=3; 

修改密码：
alter user root@localhost identified by 'newPwd';
set password for root@localhost=password('root');

  9. 时间同步设置

    1.master : 
sudo systemctl start ntpd
2.开机自启动:
	chkconfig ntpd on
3. 配置相应文件：vi /etc/ntp.conf
	
	# Hosts on local network are less restricted.
	#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
	restrict 192.168.81.0 mask 255.255.255.0 nomodify notrap
	// 添加集群中的网络段位

	# Use public servers from the pool.ntp.org project.
	# Please consider joining the pool (http://www.pool.ntp.org/join.html).
	#server 0.centos.pool.ntp.org iburst    注释掉
	#server 1.centos.pool.ntp.org iburst	注释掉
	#server 2.centos.pool.ntp.org iburst    注释掉
	#server 3.centos.pool.ntp.org iburst    注释掉
	server 127.127.1.0     -master作为服务器
 4. 其他机器要保证安装ntpdate.x86_64
 5. 其他机器要使用root定义定时器
 		crontab  [-u username] -e
     */1 * * * * /usr/sbin/ntpdate -u master

  10. Hadoop完全分布式搭建

解压Hadoop.tar.gz

步骤1）先配置core-site.xml文件

[hadoop@master ~]$ cd $HADOOP_HOME/etc/hadoop/
[hadoop@master hadoop]$ vi core-site.mxl
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/apps/hadoop/tmp</value>
    </property>
</configuration>

步骤2）再配置hdfs-site.xml文件

[hadoop@master hadoop]$ vi core-site.mxl
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

步骤3）然后配置mapred-site.xml文件

[hadoop@master hadoop]$ vi mapred-site.mxl
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

步骤4）配置yarn-site.xml文件

[hadoop@master hadoop]$ vi yarn-site.mxl
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property> 
</configuration>

步骤5）配置hadoop-env.sh脚本文件

[hadoop@master hadoop]$ vi hadoop-env.sh
.........
# The java implementation to use.
export JAVA_HOME=/opt/apps/jdk
.........

步骤6）配置slaves文件，此文件用于指定datanode守护进程所在的机器节点主机名

[hadoop@master hadoop]$ vi slaves
slave1
slave2
slave3

步骤7）配置yarn-env.sh文件，此文件可以不配置，不过，最好还是修改一下yarn的jdk环境比较好

[hadoop@master hadoop]$ vi yarn-env.sh
........省略........
# some Java parameters
export JAVA_HOME=/opt/apps/jdk
........省略........
WebUI的查看
1. http://192.168.81.200:50070
2. http://192.168.81.200:8088

  1. YARN

    YARN的配置

    ​ 1 yarn属于hadoop的一个组件，不需要再单独安装程序，hadoop中已经存在配置文件的设置

    ​ 2 yarn也是一个集群，有主节点和从节点。

    ​ 3 在mapred-site.xml中的配置如下

    <!--用于执行MapReduce作业的运行时框架-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

    ​ 4 在yarn-site.xml中的配置如下

    <!--配置resourcemanager的主机-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

<!--NodeManager上运行的附属服务-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!--配置resourcemanager的scheduler的内部通讯地址-->
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:8030</value>
</property>

<!--配置resoucemanager的资源调度的内部通讯地址-->
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:8031</value>
</property>

<!--配置resourcemanager的内部通讯地址-->
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:8032</value>
</property>

<!--配置resourcemanager的管理员的内部通讯地址-->
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:8033</value>
</property>

<!--配置resourcemanager的web ui 的监控页面-->
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>master:8088</value>
</property>

  2. Zookeeper

    ​ 修改zoo.cfg文件

    [hadoop@master conf]$ vi zoo.cfg
tickTime=2000			#  定义的时间单元(单位毫秒)，下面的两个值都是tickTime的倍数。
initLimit=10			#follower连接并同步leader的初始化连接时间。
syncLimit=5				#心跳机制的时间(正常情况下的请求和应答的时间)
dataDir=/opt/apps/zookeeper/zkData       #修改zookeeper的存储路径
clientPort=2181							 #客户端连接服务器的port
 # 添加三个服务器节点
server.1=master:2888:3888    			
server.2=slave1:2888:3888
server.3=slave2:2888:3888 

格式：Server.id=ip:port1:port2
id:		服务器的id号，对应zkData/myid文件内的数字
ip: 	服务器的ip地址
port1:	follower与leader交互的port
port2:	选举期间使用的port

    ​ 在**$ZK_HOME/zkData/**目录下添加myid文件，内容为server的id号

    ]$ pwd
/opt/apps/zookeeper/zkData
]$ echo 1 >> myid

    ​ 搭建其他server节点的环境

  3. HIVE

    <!--hive仓库在hdfs的位置-->
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>
<property>
	<name>hive.metastore.uris</name> 
	<value>thrift://slave1:9083</value>
</property>

  4. Hbase

    1） 配置hbase的环境变量

    [hadoop@master software]$ tar -zxvf hbase-1.2.1-bin.tar.gz -C /opt/apps/
[hadoop@master software]$ cd /opt/apps/
[hadoop@master apps]$ mv hbase-1.2.1 hbase
[hadoop@master apps]$ vi ~/.bash_profile
.......省略.......
#hbase environment
export HBASE_HOME=/opt/apps/hbase
export PATH=$HBASE_HOME/bin:$PATH

[hadoop@master apps]$ source  ~/.bash_profile
[hadoop@master apps]$ hbase version

    **2）**配置ssh无密码登陆(一般情况下，都在搭建HDFS时，完成)

    **3）**配置时间同步(非常重要，也应该在搭建HDFS时，完成,时间差不能超过30s)

    **4）**确认hbase-env.sh禁用内置的zookeeper

    [hadoop@master apps]$ vi $HBASE_HOME/conf/hbase-env.sh

#找到下面内容，解开注释，添加具体路径

# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/opt/apps/jdk

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false       #禁止内置zookeeper

    **5）**修改hbase-site.xml

    [hadoop@master apps]$ vi $HBASE_HOME/conf/hbase-site.sh

<configuration>
    <!-- 修改hbase的存储路径为HDFS内-->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://supercluster/hbase</value>
    </property>

    <!-- 开启用hbase集群模式 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <!--将属性hbase.unsafe.stream.capability.enforce 改为true -->
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>true</value>
    </property>
    <!-- 指定hbase使用的zookeeper集群 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/apps/zookeeper/zkData</value>
    </property>
</configuration>

    **6）**配置regionserver所在的节点信息

    [hadoop@master apps]$  vi $HBASE_HOME/conf/regionservers

删除localhost
添加:
	master
    slave1
    slave2

    7）配置备份hmaster: 创建backup-masters文件

    [hadoop@master apps]$  cd $HBASE_HOME/conf/
[hadoop@master conf]$  echo "slave1">> backup-masters

    **8）**将hadoop的core-site.xml和hdfs-site.xml放入conf目录内

    [hadoop@master apps]$  cd $HADOOP_HOME/etc/hadoop/
[hadoop@master hadoop]$  cp core-site.xml hdfs-site.xml $HBASE_HOME/conf/

  5. Swoop datax 等数仓工具

LeviathanWang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop在centos7上搭建过程中遇到的问题总结
猴戏浅滩的博客
11-22 382
hadoop在centos7上搭建历程，分析解决遇到的问题，最终走向成功。不着急可以读完，可以跳过我走的坑，还能对你遇到的问题有所启发。如发现有问题，请指正，大家相互学习。 自己根据视频第一次搭建hadoop 2.2.0时，先安装配置好对应环境变量，然后执行脚本start-all.sh启动或者单独执行start-dfs.sh和start-yarn.sh，jps查看进程，一开始出现少了data...
centOS 7系统从0开始FastDFS单节点搭建
qq924795111的博客
06-06 361
原文链接：http://blog.csdn.net/xyang81/article/details/52837974FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视...
CentOS 从0开始
kuma的博客
09-10 226
从0开始学习CentsOS。之前从来没有接触过linux，这次在VMware Workstation Pro14 中安装CentOS7。 前置 下载 VMware Workstation Pro14 下载 CentOS7的ISO文件 从VMware加载CentOS7的ISO文件 进入CentOS 7 使用多年windows之后，重新开始使用非图形界面的OS非常的不习惯，不管怎么样还是一边查资...
centos从零开始配置的过程
造梦师Fred的博客
12-06 934
1. 配置静态IP lo是回环IP，ens33是静态IP，没有IP地址这里我们需要配置 2. 查看虚拟机网卡的配置信息 点击虚拟机左上角的编辑 —> 虚拟机网络编辑器 然后确定 保存 进入centos ip addr 查看自己的IP信息 如第一张图 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改这个文件，这是一个只读文件写...
【绝对有效，从头开始自己一步一步测试的】CentOs 8.0 下安装Hadoop环境搭建
一扣解千愁的博客
10-31 6179
CentOs 8.0 下安装Hadoop 在Linux系统下安装Hadoop环境具体流程： 1. 首先安装java jdk1.8 有两种方法： 安装Oracle的jdk（相对复杂）； 安装OpenJDK（相对简单，我安装的是这种）; 这两种jdk的区别，给个链接大家去看 https://www.php.cn/java-article-415831....
从零开始学习CentOS_(LINUX)搭建服务器
04-17
全书共186页，通过图文结合通俗易懂地介绍了服务器的搭建过程。
CentOS 7 搭建ntp时钟服务器的步骤详解
09-15
架设NTP服务器，是个相对比较简单的事情， 架设NTP服务器目的就是使各个工作站的时间统一，下面这篇文章主要给大家介绍了CentOS 7中搭建ntp时钟服务器的步骤,需要的朋友可以参考借鉴，下面来一起学习学习吧。
详解基于centos7搭建Nginx网站服务器（包含虚拟web主机的配置）
09-29
主要介绍了详解基于centos7搭建Nginx网站服务器（包含虚拟web主机的配置），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Linux中Centos7搭建Hadoop服务步骤
09-15
本篇文章给大家详细讲述了Linux中Centos7搭建Hadoop服务步骤，对此有需要的读者朋友们可以参考下。
Centos7搭建sftp服务流程
09-15
本篇文章给大家详细分析了Centos7搭建sftp服务的全过程以及相关命令分享，一起需要下。
Centos 配置phabricator 过程记录
u011371648的专栏
02-04 656
参照phabricator 用户手册：https://secure.phabricator.com/book/phabricator/ 1. 下载安装包 http://www.phabricator.com/rsrc/install/install_rhel-derivs.sh 2. 配置 Apache+PHP+MySQL+Phabricator 环境    Apache配置文件 /
zeppelin的介绍与使用
热门推荐
lee_dalizi的博客
11-23 3万+
zeppelin的介绍与使用 第1章 概述 1.1 什么是zeppelin Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如spark，hive等。支持多种语言： Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。 开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。官方支持的执行引擎用一幅图可以清晰描述执行引擎的作用就是执行笔记中的与引擎
【解决】Centos 安装时 出现 error setting up base repository
包子的博客
01-06 7835
点击 进入 INSTALLATION SOURCE，输入上图所示链接，并根据自己所安装的版本，调整链接中的版本号
CentOS7.4安装部署环境出现问题总结
F_nagin的博客
11-02 1561
在公司服务器的虚拟机装了centOS7.4，过程中遇到几个问题（主机列表：我的PC:公司服务器:公司服务器的虚拟机） 1.通过wget oracle官网jdk.tar.gz下载url，经过两次跳转后401，认证失败； 最后没办法，手动下载了个jdk，用sftp传到linux服务器上;(- -|||做法有点低级(好像可以加cookie参数),或者yum安装)) 2.用xshell5 连
Hive中常出现的错误(不定时更新)
小健的博客
11-23 8697
1.加载数据失败 hive> load data local inpath '/home/user/hive.txt' into table studentl > ; FAILED: SemanticException [Error 10001]: Line 1:56 Table not found 'studentl' hive> load data local inpath '/ho
Phabricator入门手册
网生代
10-08 1940
http://www.oschina.net/question/191440_125562
hadoop组件---数据仓库(四)---hive常用命令
直到世界的尽头
01-10 5343
安装好hive的环境之后 我们可以尝试一些常用的命令，常用命令也可以作为平时工作中的速查手册。 进入hive控制台 首先需要知道hive的启动目录在哪，可以使用命令 whereis hive 启动hive shell在hive安装bin目录下使用命令 hive shell 注:如果hive环境已经加入环境变量，那么whereis时会显示/usr/bin/hive，这种情...
Centos-7游戏服务器环境部署(下)
HQYD
10-10 1273
Nginx服务安装 1、添加Nginx到YUM源 $ sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-c entos-7-0.el7.ngx.noarch.rpm 2、安装Nginx $ sudo yum install -y nginx Redis服务安装 1、安装tcl ...
基于centos7搭建一个可下载centos7的服务器
最新发布
04-16
要搭建一个可下载CentOS 7的服务器，你可以按照以下步骤进行操作： 1. 首先，你需要一个CentOS 7的ISO镜像文件。你可以从CentOS官方网站下载最新的CentOS 7 ISO镜像文件。 2. 在你的CentOS 7服务器上安装一个Web服务器软件，比如Apache或Nginx。你可以使用以下命令在CentOS 7上安装Apache： ``` sudo yum install httpd ``` 3. 配置Web服务器以提供ISO镜像文件的下载。你可以将ISO镜像文件放在Web服务器的根目录下，或者创建一个新的目录来存放ISO镜像文件。 4. 确保Web服务器已启动，并且防火墙已配置允许HTTP流量通过。你可以使用以下命令启动Apache并设置防火墙规则： ``` sudo systemctl start httpd sudo firewall-cmd --permanent --add-service=http sudo firewall-cmd --reload ``` 5. 确保你的服务器可以通过公共IP地址或域名访问。你可以使用以下命令查看服务器的IP地址： ``` ip addr show eth0 ``` 6. 现在，你可以通过浏览器访问服务器的IP地址或域名来下载CentOS 7 ISO镜像文件了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值