Hadoop配置文件

最新推荐文章于 2023-07-26 00:52:14 发布
最新推荐文章于 2023-07-26 00:52:14 发布
阅读量185 收藏 1
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56587572/article/details/115945844
版权

说明

1.本说明文档含比赛部分组件的安装部署配置信息仅供参考。
2.蓝色部分为根据不同需求需要修改，请注意。
3.部分命令需要根据比赛需求做出更改，文档中已加入部分备用命令，其他备用命令还在尝试。

一、基础环境

1.换源

cd /etc/yum.repos.d
wget -O bigdata.repo
http://172.16.47.240/bigdata/repofile/bigdata.repo
wget -p http://49.232.221.239/scene.pkg
yum clean all
yum makecache

在这里插入图片描述

2.修改主机名

hostnamectl set-hostname master
bash

3.关闭防火墙(停止、查看、开机不启动)

systemctl stop firewalld.service
systemctl status firewalld.service
systemctl disable firewalld.service

4.修改hosts

echo "172.18.52.170  master" >> /etc/hosts
echo "172.18.52.171  slave1" >> /etc/hosts
echo "172.18.52.172  slave2" >> /etc/hosts

在这里插入图片描述

5.JDK安装

查询是否有Java：rpm -qa | grep java
卸载:

rpm -e --nodeps java-1.8.0-openjdk
rpm -e --nodeps java-1.7.0-openjdk
rpm -e --nodeps java-1.8.0-openjdk-headless
rpm -e --nodeps java-1.7.0-openjdk-headless

解压+安装+分发

6.配置免密登陆

ssh-keygen -t dsa   (备用：ssh-keygen -t rsa )
ssh-copy-id master 
scp /root/.ssh/authorized_keys slave1:/root/.ssh/

在这里插入图片描述

7.时间同步

master：
tzselect

得到时区环境变量：TZ='Asia/Shanghai'; export TZ

查看是否安装：rpm -qa | grep ntp
安装ntp: yum install -y ntp
关闭ntp: systemctl stop ntpd
在master配置文件 vim /etc/ntp.conf

a）修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0  mask 255.255.255.0 nomodify notrap

在这里插入图片描述
b）修改2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

c）添加3

server 127.127.1.0
fudge 127.127.1.0 stratum 10

在这里插入图片描述

硬件时间：echo SYNC_HWCLOCK=yes >> /etc/sysconfig/ntpd

slave：

安装ntp:yum install -y ntpdate
定时任务：crontab -e
设置：~~*/30 8-17 * * *~~  /usr/sbin/ntpdate ~~master~~ 
测试：date -s "2020-6-11 11:11:11"
ntpdate master
硬件时间：echo SYNC_HWCLOCK=yes >> /etc/sysconfig/ntpd

在这里插入图片描述

8.环境变量

在这里插入图片描述

export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$HIVE_HOME/bin:$PATH

export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
export PATH=$ZOOKEEPER_HOME/bin:$PATH

export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin

export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/sbin
    
export TZ=Asia/Shanghai

刷新：source /etc/profile
分发

二、Hadoop配置文件

修改几个env文件的JAVA_HOME
core-site.xml
在这里插入图片描述

<property>
<name>fs.default.name</name>
    <value>hdfs://master:9000</value>
</property>
<property>

	<name>hadoop.tmp.dir</name>
	<value>/usr/hadoop/hadoop-2.7.3/data/tmp</value>
</property>

hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
</property>

yarn-site.xml

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

mapred-site.xml
在这里插入图片描述

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>slave1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>slave1:19888</value>
</property>

slaves

slave1
slave2

解压+安装+配置+分发
格式化集群：hadoop namenode -format
启动：start-yarn.sh start-dfs.sh
启动历史服务器：去配置的历史服务器启动
mr-jobhistory-daemon.sh start historyserver

三、Zookeeper配置文件

zoo.cfg

dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

vim /usr/zookeeper/zookeeper-3.4.10/zkdata/myid
分发
修改slave1和slave2myid
启动ZK服务: zkServer.sh start
查看ZK服务状态: zkServer.sh status

四、MySQL配置

安装：yum -y install mysql-community-server
启动：systemctl start mysqld
查看初始密码：
grep ‘temporary password’ /var/log/mysqld.log
查看密码策略：show variables like ‘%password%’;

set global validate_password_policy=0; //设置密码策略等级
set global validate_password_length=6; //设置密码最小长度

也可以通过/etc/my.cnf配置文件找到相关项进行设置
设置远程登陆：update user set host=’%’ where user=‘root’;
设置密码：SET PASSWORD = PASSWORD(‘123456’);
刷新：flush privileges;

五、Hive配置

hive-env.sh

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf
export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.1.1-bin/lib

客户端
hive-site.xml

<configuration>
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property> 
<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property>  
<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://slave1:9083</value>  
</property> 
</configuration>

服务端
hive-site.xml

<configuration>
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123456</value>  
</property>
</configuration>

拷贝 mysql驱动
初始化元数据库：schematool -initSchema -dbType mysql
备用：schematool -dbType mysql initSchema
后台启动：hive --service metastore &

六、Spark配置

spark-env.sh

export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=8g

slaves

slave1
slave2

七、Hbase配置

hbase-env.sh
在这里插入图片描述

export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_MANAGES_ZK=false

hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>

<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>

<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/zookeeper/zookeeper-3.4.10</value>
</property>

regionservers

slave1
slave2

分发
启动：start-hbase.sh

失忆969
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop 配置文件介绍
qq_27242695的博客
08-16 3683
文章目录Hadoop 配置文件介绍1 hadoop 目录结构2 hadoop 核心配置2.1 默认配置文件存储位置2.2 自定义配置文件2.3 核心配置文件-core-site.xml2.4 HDFS 配置文件-hdfs-site.xml2.5 YARN 配置文件-yarn-site.xml2.6 MapReduce 配置文件 mapred-site.xml Hadoop 配置文件介绍 1 hadoop 目录结构 bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop集群搭建(五)-集群配置文件
weixin_49001740的博客
04-29 7824
集群部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode SecondaryNameNode NataNode YARN NodeManager ResourceManager NodeManager NodeManager 自
Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务
小袁同学的博客
11-16 1万+
（1）修改 hadoop-env.sh 文件 （2）修改 yarn-env.sh 文件 （3）修改 core-site.xml 文件 （4）修改 hdfs-site.xml 文件 （5）修改 mapred-site.xml 文件 （6）修改 yarn-site.xml 文件 （7）修改 masters 文件 （8）修改 slaves 文件
Hadoop重要配置文件
arelinzhi的博客
05-22 1万+
l  Hadoop的配置文件 1.      Hadoop-site.xml, *-default.xml,*-site.xml,2.      Core-default.xml: 默认的核心hadoop属性文件。该配置文件位于下面JAR文件中:Hadoop-common-2.2.0.jar3.      Hdfs-default.xml : 默认的HDFS属性配置文件，文件位于下面的JAR文件中...
hadoop配置文件
07-13
配置hadoop2.0，按照文档执行就可以了
hadoop 配置文件
06-20
Hadoop配置文件是确保系统正常运行和优化性能的核心要素。本篇将深入探讨Hadoop配置文件的相关知识点，包括它们的作用、主要配置文件及其内容、以及如何根据实际需求进行调整。 一、Hadoop配置文件的作用 Hadoop...
hadoop配置文件详解
08-02
hadoop配置文件详解,core-site.xml是全局配置，hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。
hadoop配置文件信息
07-13
1. **spark-defaults.conf**：这是Spark的主要配置文件，可设置如执行器内存（`spark.executor.memory`）、核心数（`spark.executor.cores`）、驱动程序内存（`spark.driver.memory`）等。 2. **动态资源分配**：...
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4936
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
bigdata-assignments:BigData Repo - 测试
06-27
大数据 大数据分配 运行作业 1 代码的说明 使用 Maven 克隆存储库或直接从 Github 复制。 您可以使用命令git clone 'link to repository' cd 进入文件夹(cd bigdata-assignments/assignment1)并运行以下命令：- mvn clean package 最后运行hadoop命令运行DemoWordCount代码：- hadoop jar target/assignment1-1.0-SNAPSHOT-fatjar.jar edu.umd.chintan7.DemoWordCount -input bible+shakes.nopunc -output wc -numReducers 5 将创建一个名为“wc”的新文件夹，其中包含输出文件
理解Hadoop配置文件
qq_27896233的博客
06-27 690
理解Hadoop配置文件
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
最新发布
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop中 常用端口说明和相关配置文件
向热爱自己一样，热爱这个世界。
03-28 2287
Hadoop中 常用端口说明和相关配置文件
详解Hadoop六个配置文件的作用
qq_31151125的博客
09-30 1万+
详解Hadoop六个配置文件的作用主要常用的文件夹六个配置文件的作用 etc/hadoopcore-site.xmlhdfs-site.xml额外知识点hadoop-env.shmapred-site.xmlyarn-site.xml 本文以apache的hadoop-2.7.5为列，主要讲解Hadoop目录下每个文件的作用 主要常用的文件夹 文件夹名称 作用 bin shell...
Cloudera Manager分析
xiao_jun_0820的专栏
09-18 8215
Cloudera Manager分析 目录 1. 相关目录 2. 配置 3. 数据库 4. CM结构 5. 升级 6. 卸载 7. 开启postgresql远程访问 1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装
cdh 安装_使用Cloudera的CDH部署Hadoop：第四步，配置数据库和安装组件
weixin_39796868的博客
11-23 1081
导读这篇文章是关于使用CDH搭建Hadoop集群的第四步：配置数据库和安装集群组件。这篇文章有点长，主要是涉及的步骤较多，且配图也较多。虽然配图多，文章略显臃肿，但是“一图胜过千言万语”。如果觉得一次阅读不能完全消化，那么可以收藏，待到日后亲身实践时，以便参考。特别值得庆幸的是：这也是使用CDH搭建Hadoop集群的最后一步，执行完这一步，我们就可以愉快地开始大数据存储与计算之旅了。本文参考了Cl...
快学Big Data--Linux（八）
知识的力量
09-02 6109
Linux总结   概述     Linux是一套免费使用和自由传播的类Unix操作系统（主要用在服务器上），接下来详细的介绍一下linux的一些知识。   Linux 目录结构说明 1-1）、目录树     1-2）、目录树介绍 / ：根目录，一般的只存放目录把存放文件 bin &amp; use/bin ：存放可执行的二进制文件 boot/：存放linux启动时用到...
大数据技术
weixin_48160685的博客
05-19 724
备用： 2.配置本地源。通过比赛平台提供源文件下载路径，将本地源文件下载到/etc/yum.repos.d/ 目录下（三台机器都执行）。 ⚫ 发信号给 yum 进程：pkill -9 yum ⚫ 进入 yum 源配置文件：cd /etc/yum.repos.d ⚫ 删除所有文件：rm -rf * ⚫ 下载 yum 源：wget http://10.10.30.2:8000/bigdata/repofile/bigdata.repo ⚫ 清除 YUM 缓存：yum

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值