hadoop文件配置

最新推荐文章于 2024-01-19 10:57:15 发布
最新推荐文章于 2024-01-19 10:57:15 发布
阅读量266 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_41642318/article/details/81014746
版权

Hadoop

一、本地模式：

hadoop-env.sh

25 export JAVA_HOME=/root/training/jdk1.8.0_144

二、伪分布模式：
hdfs-site.xml

<!--表示数据块的冗余度，默认：3-->
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

<!--是否开启HDFS的权限检查，默认true-->
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

core-site.xml

<!--配置NameNode地址,9000是RPC通信端口-->
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://bigdata111:9000</value>
</property> 

<!--HDFS数据保存在Linux的哪个目录，默认值是Linux的tmp目录-->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/root/training/hadoop-2.7.3/tmp</value>
</property>

mapred-site.xml 

#注：默认没有，需要自己创建 
#cp mapred-site.xml.template mapred-site.xml
<!--MR运行的框架-->
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

yarn-site.xml

<!--Yarn的主节点RM的位置-->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>bigdata111</value>
</property> 

<!--MapReduce运行方式：shuffle洗牌-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

配好后需要格式化namenode：

hdfs namenode -format

访问：通过Web界面

HDFS:  http://192.168.157.111:50070
Yarn:  http://192.168.157.111:8088

三、全分布模式
hadoop-env.sh 

25 export JAVA_HOME=/root/training/jdk1.8.0_144

hdfs-site.xml

<!--表示数据块的冗余度，默认：3-->
    <property>
       <name>dfs.replication</name>
       <value>2</value>
    </property>

core-site.xml

<!--配置NameNode地址,9000是RPC通信端口-->
    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://bigdata112:9000</value>
    </property> 

    <!--HDFS数据保存在Linux的哪个目录，默认值是Linux的tmp目录-->
    <property>
       <name>hadoop.tmp.dir</name>
       <value>/root/training/hadoop-2.7.3/tmp</value>
    </property>

mapred-site.xml

#注：默认没有需要自己创建
#cp mapred-site.xml.template mapred-site.xml
<!--MR运行的框架-->
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

yarn-site.xml

<!--Yarn的主节点RM的位置-->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>bigdata112</value>
</property> 

<!--MapReduce运行方式：shuffle洗牌-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

slaves：

bigdata113
bigdata114

格式化nameNode： 

hdfs namenode -format

把主节点上配置好的hadoop复制到从节点上

scp -r hadoop-2.7.3/ root@bigdata113:/root/training
scp -r hadoop-2.7.3/ root@bigdata114:/root/training

在主节点上启动 

start-all.sh

Hbase

一、本地模式: 不需要HDFS，保存在Linux的文件系统

mkdir data

hbase-env.sh

export JAVA_HOME=/root/training/jdk1.8.0_144

conf/hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>file:///root/training/hbase-1.3.1/data</value>
</property>

启动HBase：

start-hbase.sh

二、伪分布模式 bigdata111
hbase-env.sh

HBASE_MANAGES_ZK    true  ---> 使用HBase自带的ZK

conf/hbase-site.xml

<!--HBase的数据保存在HDFS对应目录-->
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://192.168.157.111:9000/hbase</value>
</property> 
<!--是否是分布式环境-->
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>         

<!--配置ZK的地址-->
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>192.168.157.111</value>
</property>             

<!--冗余度-->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

regionservers：配置从节点地址

192.168.157.111

三、全分布模式：bigdata112 bigdata113 bigdata114
hbase-env.sh

export JAVA_HOME=/root/training/jdk1.8.0_144
HBASE_MANAGES_ZK    true  ---> 使用HBase自带的ZK

conf/hbase-site.xml

<!--HBase的数据保存在HDFS对应目录-->
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://192.168.157.112:9000/hbase</value>
</property> 

<!--是否是分布式环境-->
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>         

<!--配置ZK的地址-->
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>192.168.157.112</value>
</property>             

<!--冗余度-->
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property> 

<!--主节点和从节点允许的最大时间误差-->
<property>
  <name>hbase.master.maxclockskew</name>
  <value>180000</value>
</property>

regionservers：配置从节点地址

192.168.157.113
192.168.157.114

复制到其他节点上

scp -r hbase-1.3.1/ root@bigdata113:/root/training
scp -r hbase-1.3.1/ root@bigdata114:/root/training

Hive

一、嵌入模式
conf/hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
</property>

<property>
   <name>javax.jdo.option.ConnectionDriverName</name>
   <value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>

<property>
   <name>hive.metastore.local</name>
   <value>true</value>
</property>

<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>file:///root/training/apache-hive-2.3.0-bin/warehouse</value>
</property>

</configuration>

初始化Derby数据库

schematool -dbType derby -initSchema

二、本地模式
hive-site.xml

#重新创建hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
</property>

<property>
   <name>javax.jdo.option.ConnectionDriverName</name>
   <value>com.mysql.jdbc.Driver</value>
</property>

<property>
   <name>javax.jdo.option.ConnectionUserName</name>
   <value>hiveowner</value>
</property>

<property>
   <name>javax.jdo.option.ConnectionPassword</name>
   <value>Welcome_1</value>
</property>

</configuration>

将mysql的jar包放到lib目录下
初始化MySQL

schematool -dbType mysql -initSchema

keeper集群

conf/zoo.cfg

dataDir=/root/training/zookeeper-3.4.10/tmp
server.1=bigdata112:2888:3888
server.2=bigdata113:2888:3888
server.3=bigdata114:2888:3888

在/root/training/zookeeper-3.4.10/tmp下创建一个文件 myid

vi myid
1

将配置好的ZK复制到其他节点上

scp -r zookeeper-3.4.10/ root@bigdata113:/root/training
scp -r zookeeper-3.4.10/ root@bigdata114:/root/training

修改bigdata113和bigdata114上的myid文件

HUE

一、解压安装
1、环境准备
挂载光盘（rhel-server-7.4-x86_64-dvd.iso）：

mount /dev/cdrom /mntpm

创建rpm源文件：

vi /etc/yum.repos.d/rhel7.repo
[rhel-yum]
name=rhel7
baseurl=file:///mnt
enabled=1
gpgcheck=0

执行以下命令：

yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

2、解压：

tar -xvf hue-4.0.1.tgz

2、编译安装：

PREFIX=/root/training/ make install     ----> 将HUE安装到/root/training/hue

添加用户hue

adduser hue
chown -R hue.hue /root/training/hue/

二、文件配置
hdfs-site.xml 

<property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
</property>

core-site.xml
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
</property>                 

<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
</property>

配置HUE：核心配置文件 desktop/conf/hue.ini

sinat_41642318
关注
hadoop slaves文件_hadoop：分布式集群参数master节点的配置！
weixin_39859909的博客
11-24 4307
之前的文章中我们已经将master节点的网络IP、hostname文件、hosts文件配置完成，接下来还有hadoop相关配置文件需要修改。今天我们来讲master节点hadoop的配置。1、hdfs-site.xml在hadoop的配置文件中与HDFS(hadoop分布式文件系统)相关的是hdfs-core.xml文件。在伪分布集群中只有一个节点，因此此节点即要有NameNode功能也要有Dat...
hadoop slaves文件_Hadoop 集群的安装配置
weixin_39732825的博客
11-23 4106
写在前面如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 ：3 天入门大数据技术/Linux/Hadoop/Spark​ke.qq.com 在本地搭建集群环境，在这个视频课程中你需要学习的章节是：VMWare WorkStation 安装创建虚拟机安装 Centos 7 操作系统Centos 7 网络配置方式说明Centos 7 网络配置使用客户端登录操作虚拟机克...
hadoop 大数据集群配置文件
07-09
希望对你们有用，真心的希望你们有用，正在运行的配置
【大数据清洗和预处理】1.6Hadoop集群配置（学习笔记）
weixin_63745352的博客
11-09 912
学习笔记
Hadoop配置文件参数整理(3)---mapred-site.xml
海贼的船
06-11 1144
占坑，后面慢慢整理。
Hadoop3.1.3 配置文件
01-15
首先，Hadoop的配置文件是整个系统运行的基础，它们定义了Hadoop集群的运行参数、节点间的通信方式以及数据存储策略等关键设置。主要的配置文件包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-...
hadoop config 配置文件
11-09
Hadoop配置文件是这个系统的核心组成部分，它们定义了Hadoop集群的行为、性能和稳定性。在这个主题中，我们将深入探讨Hadoop配置文件的各个方面，以及如何有效地管理和优化它们。 1. **Hadoop配置结构** Hadoop的...
hadoop集群搭建_hadoop配置文件修改
01-07
hadoop配置文件修改 先进入hadoop配置文件所在路径: cd /usr/local/src/hadoop-2.6.1/etc/hadoop 修改slaves vim slaves 修改core-site.xml vim core-site.xml fs.defaultFS hdfs://192.168.43.10:9000 #主机...
大数据运维技术第4章 Hadoop文件参数配置课件.pptx
06-22
【大数据运维技术第4章 Hadoop文件参数配置】 在大数据领域，Hadoop是一个核心的开源框架，主要用于处理和存储大规模数据。本章主要探讨的是Hadoop的文件参数配置，这对于确保Hadoop集群的稳定运行至关重要。以下是...
HadoopHA集群配置文件
11-28
本文将深入探讨Hadoop HA（高可用性）集群的配置文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件，这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...
Hadoop 添加删除Slave
weixin_30256901的博客
01-14 282
Hadoop 添加删除Slave @(Hadoop) 在hdfs-site.xml文件中添加如下配置： <property> <name>dfs.hosts</name> <value>/root/jiangyuande/hadoop/etc/hadoop/datanode-allow.list</valu...
hadoop集群配置
硅谷
10-16 476
一个具体的配置：这里只搭建一个三台主机的小机群     10.37.128.2 - master ,namenode , jobtracker -master (主机名)     10.37.128.3 - salve ,datanode , tasktracker -slave1 (主机名)     10.37.128.4 - slave ,datanode , tasktracker -
Hadoop配置文件（ hadoop-env.sh、core-site.xml、hdfs-site.xm、mapred-site.xml、yarn-site.xml、 slaves）详解
热门推荐
qq_52159080的博客
03-20 1万+
hadoop-env.sh 配置hadoop中的 hadoop-env.sh（后边很多框架配置环境都是xxx.env.sh） 配置hadoop的环境变量的，一般有Java home，hadoopconfdir等这些软件、配置目录，有运行过程中使用的变量，如hadoop栈大小配置，java 运行内存大小配置等等。 用工具直接打开进行配置即可； 默认是已经开启的，如果前面有#，只需要去掉即可； core-site.xml 配置hadoop的访问目录（配置ip主机和端口号；提供出来进行访问）；修.
【运维】Hadoop完全分布式
最新发布
不纯正的逼格的专栏
01-19 193
为了后期使用方便，我们为集群机器之间设置免密登录，这里使用 Xshell 工具使用远程登录连接操作，可以在官网免费下载 Xshell 官网，顺便也下载 Xftp 工具，方便后期传输文件和安装包。一直点击下一步，设置虚拟机磁盘容量，根据自身的实际情况来，建议设置为 50G，避免其它应用安装不了。点击左下角 + 号添加分区，点击下拉列表框，选择 /boot，分配 1G 空间，点击添加，添加完成后修改文件系统为 ext4。上述设置完成后，点击开始安装，设置 ROOT 密码，顺便添加一个用户，等待系统安装完成。
hadoop配置文件
CHEN的博客笔记
11-19 5148
安装前的工作： jdk 集群中节计算机互联互通 关闭防火墙 节点间的计算机免密码登录（authorized_keys认证文件root用户存放在/root/.ssh/） (User用户 /home/user/.ssh/) A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys 产生 安装hadoop Bin目录-命令eg : hadoop namenode -format Sbin目录-各种启动文件\停止服务 Etc/hadoop/ 各种配置文件 1.hadoo
3.3 学习笔记 Hadoop集群配置
qq_62847100的博客
10-28 1733
hadoop
大数据笔记（三）——Hadoop2.0的安装与配置
weixin_30304375的博客
02-21 138
一.Hadoop安装部署的预备条件 准备：1、安装Linux和JDK。 安装JDK 解压：tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/ 设置环境变量：vi ~/.bash_profile JAVA_HOME=/root/training/jdk1.8.0_144 export JAVA_HOM...
初识大数据BigData(笔记1)
HPeak的博客
04-16 530
基础知识： 大数据的关键技术（两大核心技术）： 1：分布式存储 2：分布式处理 电典型的计算模式： 1：批处理计算 2：流计算 3：图计算 4：查询分析计算 三种云服务： 1:IaaS，基础设施即服务，面向网络架构师 2:PaaS，平台即服务，面向应用开发者 3:SaaS，软件即服务，面向用户 物联网的关键技术： 1：识别技术 2：感知技术 大数据处理架构Hadoop Hadoop是Java语言开...
Hadoop,master和slave简单的分布式搭建
web13116256725的博客
08-17 779
4查看ip地址，用命令ifconfig，如果没有则执行 ifconfig eth1 ip 自己设置ip，机子上的是eth0或者是eth1，不知道的话执行 cat /etc/sysconfig/network-scripts/ifcfg-eth1,执行不了就换成eth0. //用Tab键自动补齐也会显示自己的网卡。【注】，在普通用户下会遇到不能建立目录的情况，su到root用户下，然后在/usr下建立Java/目录，再修改目录的权限：chown xia:xia /usr/java，把属主和属组改成普通用户。.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值