大数据笔记02--HDFS的搭建

最新推荐文章于 2023-02-22 15:21:24 发布
最新推荐文章于 2023-02-22 15:21:24 发布
阅读量201 收藏 1
点赞数
分类专栏： 大数据笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KissshotAHUB/article/details/82991327
版权

HDFS搭建

三种模式

1.伪分布式：只有一台服务器，运行所有节点（仅用于测试学习）
2.完全分布式：各个节点分布在不同服务器上，资源使用不冲突
3.高可用的完全分布式：提高HDFS的可用性

伪分布式

仅使用hadoop01一台服务器

搭建步骤

1. 配置免密登录 hadoop01->hadoop01
在~/.ssh目录下

生成私钥
	
ssh-keygen -t rsa
	
将公钥传给自己
	
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

2. 配置JDK
在/etc/profile写入

export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
export PATH=\$PATH:$JAVA_HOME/bin

3. 修改hdfs-site.xml配置文件

<property>
	<-- 副本数量 默认3 -->
	<name>dfs.replication</name>
	<value>1</value>
</property>
	<-- SNN节点地址 伪分布式配置在当前地址-->
<property>     
	<name>dfs.namenode.secondary.http-address</name>
   	<value>hadoop01:50090</value>
</property>

4. 修改core-site.xml配置文件

<property>
	<-- 前缀 -->
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<property>
	<-- 存储目录 没有则创建 -->
    <name>hadoop.tmp.dir</name>
    <value>/var/abc/hadoop/local</value>
</property>

5. 修改slaves配置文件
即从节点名，伪分布式从节点为自己，所以写

hadoop01

6. 配置hadoop环境变量
在用户配置~/.bashrc内添加

export HADOOP_HOME=/opt/hadoop/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

7. 格式化NameNode(创建目录以及文件)

hdfs namenode -format

8. 启动HDFS

start-dfs.sh

遇到的问题

  1. 找不到JAVA_HOME --> 在用户配置文件~/.bashrc中也配置JAVA_HOME
  2. 找不到hadoop01的错误 --> 未修改/etc/hosts，写入ip+主机名
  3. 初始化时找不到namenode主类 --> 检查命令是否正确，或重新解压文件

完全分布式

node01 NameNode
node02 SecondaryNameNode和DataNode
node03 DataNode
node04 DataNode

搭建步骤

1. 时间同步
在各个节点安装ntp命令

yum install ntp

查找最新的时间服务器

ntp1.aliyun.com

同步时间

ntpdate ntp1.aliyun.com

2. 配置免密登录
node01->node01 | node01->node02 | node01->node03 | node01->node04

	所有节点执行
	
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

在node01节点执行，将node01的公钥加入到其他节点的白名单中
	
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

3. 所有节点配置JDK
略
4. 修改hdfs-site.xml配置文件

<property>
	<-- 副本数量 默认3 -->
    <name>dfs.replication</name>
    <value>3</value>
</property>
	<-- SNN节点地址 -->
<property>     
 	<name>dfs.namenode.secondary.http-address</name>
    <value>node02:50090</value>
</property>

5. 修改core-site.xml配置文件

<property>
	<-- 前缀 -->
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
</property>
<property>
	<-- 存储目录 没有则创建 -->
    <name>hadoop.tmp.dir</name>
    <value>/var/abc/hadoop/cluster</value>
</property>

6. hadoop环境变量
略
7. 修改slaves配置文件
修改为

node02
node03
node04

8. 将配置好的安装包分发到其他节点上
在hadoop的上级目录

scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node03:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node03:/opt/software/hadoop/
	
或简写为
	
scp -r hadoop-2.6.5 root@node02:`pwd`

9. 将所有的HDFS相关的进程关闭
格式化NameNode(创建目录以及文件)
在node01节点执行

hdfs namenode -format
  1. 启动HDFS
start-dfs.sh

遇到的问题

  1. 分发公钥时找不到节点 --> 未配置hosts
  2. 启动后找不到存活节点 --> 所有节点都应该配置hosts
  3. 外部无法访问hdfs --> 关闭防火墙
临时关闭
service iptables stop

永久关闭
chkconfig iptables off

高可用的完全分布式

集群规划

集群规划

搭建步骤

  1. 配置免密登录
    node01->node01 | node01->node02 | node01->node03 | node01->node04
    node02->node01
  2. 所有节点配置JDK
    略
  3. 修改hdfs-site.xml配置文件
<property>
 		    <name>dfs.nameservices</name>
 		    <value>mycluster</value>
</property>
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>node01:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>node02:8020</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>node01:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>node02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
	  <name>dfs.journalnode.edits.dir</name>
	  <value>/var/sxt/hadoop/ha/jn</value>
</property>
<property>
	  <name>dfs.client.failover.proxy.provider.mycluster</name>
	  <value>org.apache.hadoop.hdfs.server.namenode.
	  				ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
	  <name>dfs.ha.fencing.methods</name>
	  <value>sshfence</value>
</property>
<property>
	  <name>dfs.ha.fencing.ssh.private-key-files</name>
	  <value>/root/.ssh/id_rsa</value>
</property>
<property>
	   <name>dfs.ha.automatic-failover.enabled</name>
	   <value>true</value>
 </property>
  1. 修改core-site.xml配置文件
<property>
	   <name>fs.defaultFS</name>
	   <value>hdfs://mycluster</value>
</property>
<property>
	   <name>ha.zookeeper.quorum</name>
	   <value>node02:2181,node03:2181,node04:2181</value>
</property>
  1. 修改slaves配置文件
    修改为
node02
node03
node04
  1. 将配置好的HDFS安装包拷贝到node02 node03 node04
scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node03:/opt/software/hadoop/
scp -r hadoop-2.6.5 root@node03:/opt/software/hadoop/
  1. 格式化NameNode(创建目录以及文件)
  • 在node01、node02、node03分别执行如下命令
hadoop-daemon.sh start journalnode
  • 随机选择一台NameNode执行：
hdfs namenode -format

单独启动NN1
hadoop-daemon.sh start namenode
  • 另外一台NameNode节点执行：
同步元数据
hdfs namenode  -bootstrapStandby
  1. 搭建zookeeper集群
  • 解压
  • 修改conf目录下的zoo_sample.cfg的名称，改为zoo.cfg
    mv zoo_sample.cfg zoo.cfg
  • 修改zoo.cfg
    dataDir=/var/abc/zookeeper
    server.1=node02:2888:3888
    server.2=node03:2888:3888
    server.3=node04:2888:3888
  • 在dataDir目录下创建一个myid文件，在这个文件中写上当前节点ID号
  • 将配置好的zookeeper安装包拷贝到node03 node04
  • 拷贝完毕后，在各自节点上创建myid号，ID号要依次递增
  • 三台zk在bin内执行serverZK.sh start
  1. 启动zkfc
hdfs zkfc -formatZK
  1. 关闭所有节点上的进程
    （将零散开启的、用于初始化集群的进程关闭）
stop-dfs.sh
  1. 启动HDFS
start-dfs.sh

遇到的问题

  1. dataDir目录需手动创建，并在其下创建myid
  2. 未在三台zookeeper节点上启动ZK服务，在启动zkfc时报错找不到zk进程

*虚拟机的配置

  1. 查看虚拟机ip
ifconfig
  1. 根据查询到的ip修改ipcfg文件
cd /etc/sysconfig/network-scripts/
vim ifcfg-eth0
	
修改
ONBOOT=yes
BOOTPROTO=none

添加
IPADDR=192.168.180.128 (查询到的ip)
PREFIX=24
GATEWAY=192.168.180.2 (根据ip修改)
DNS1=8.8.8.8
  1. 复制虚拟机，并重新执行1和2
    (可将JAVA_HOME和HADOOP_HOME一并配置好后再复制)
  2. 修改hostname
cd /etc/sysconfig/
vim network
  1. 修改hosts
vim /etc/hosts
KissshotAHUB
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据笔记（三）：HDFS集群搭建-伪分布式模式
Lansonli（蓝深李）的博客
04-24 3769
HDFS集群搭建-伪分布式模式
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
upward
03-23 3051
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
大数据平台运维之HDFS
KamRoseLee的博客
05-09 3093
HDFS1.在HDFS文件系统的根目录下创建递归目录“1daoyun/file”，将附件中的BigDataSkills.txt文件，上传到1daoyun/file目录中，使用相关命令查看文件系统中1daoyun/file目录的文件列表信息，输出结果为。[root@master ~]# hadoop fs -mkdir -p /1daoyun/file[root@master ~]# hadoop ...
电商大数据分析平台（三）nginx配置及flume读取日志信息
weixin_40535323的博客
09-16 1268
一、nginx配置 在本项目中nginx的作用只是接收客户端发送的事件，并将相应的session写入日志文件中，所以配置较为简单，只需要配置写入的日志文件和写入的格式 1.地址配置 server { listen 80; location = /index{ ...
分布式文件系统HDFS 练习
weixin_33896069的博客
05-30 110
本次作业来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 （1）在HDFS中为hadoop用户创建一个用户目录（hadoop用户） （2）在用户目录下创建一个input目录 （3）在HDFS...
hadoop01
weixin_33800463的博客
04-26 83
RPC：异步系统的调用，webservice是RPC的一种。webservice用于不在同一个公司的系统调用，同一个公司用socket调用。就是RPC。 Dubbo淘宝的RPC框架。 Hadoop rpc是hadoop自带的RPC框架。 阿里云就是虚拟机。虚拟机可以安装linux,unix,macos系统。 虚拟机网络连接方式不用桥接用NAT，桥接的时候在不同的地方需要更改虚拟机的地址，NA...
电商大数据分析平台项目（一）项目框架
weixin_40535323的博客
09-15 6836
一、项目简介 这段时间自己从网上找了一个项目课程，学着做了一个电商大数据分析平台，不过较为简陋，知识作学习用。 项目环境：windows10+hadoop2.7.7+hbase2.1.0+flume1.7.0+nginx+3台linux虚拟机（三台虚拟机搭建一个hadoop完全分布式集群，同将主节点配置nginx服务器） 项目需求：对给定时间段内登陆过某网站的用户进行统计分析，具体包括不同条...
大数据笔记（一）：HDFS
Ding_xiaofei的博客
05-07 1383
开篇 这是一篇学习笔记，绝大部分内容来自于厦门大学的大数据课程，这边是课程在中国大学mooc上的链接大数据技术原理，希望这篇笔记能够帮助我记录重要的知识点，也帮助大家顺利地理解HDFS是什么？ 云计算的两个要点，分布式存储和分布式处理，这里的HDFS就是分布式文件系统，也就是要点之一的分布式存储。OK，我们下面正式开始这篇的内容，HDFS。我们按照林老师上课的思路来记录我们的笔记。我们将重点讲...
hdfs的搭建
七月流星
08-22 2394
wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz ssh-keygen -t rsa # cat id_rsa.pub&gt;&gt; authorized_keys # ssh root@10.8.26.196 cat ~/.ssh/id_rsa.pub&gt;&gt; aut...
大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
upward
02-22 882
大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
超全大数据面试宝典-大数据面试有这套就够了.pdf
10-29
- **Hadoop相关总结**：讲述Hadoop的端口号、配置文件和集群搭建，HDFS的读写流程，MapReduce的Shuffle过程，Yarn的Job提交流程和调度器，以及Hadoop参数调优和相关项目经验。 - **Zookeeper相关总结**：涵盖...
大数据笔记（二）：HDFS原理知识
Lansonli（蓝深李）的博客
04-22 1039
存储模型 架构设计 角色功能 元数据持久化 安全模式 副 本放置策略 读写流程
大数据学习之路6-hdfs的命令行客户端常用操作
爱米酱的博客
07-31 304
1.hdfs集群状态查看 hdfs dfsadmin -report 2.目录信息查看 hdfs dfs -ls /     (这是新的写法） hadoop fs -ls / (这是旧的写法) 3.上传文件 hdfs dfs -put  /root/a.txt   /aaa/ 或 hdfs dfs -copyFromLocal /root/a.txt    /aaa/a.txt.2 ...
matlab程序模拟单个正电荷电位下的电子轨迹.rar
09-10
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
医药生物：创新药、“AI 医疗”有望引领医药产业新发展(1).pdf
09-10
医药生物：创新药、“AI 医疗”有望引领医药产业新发展(1)
飞利浦4H.09C02.A11电源板电路图.rar
09-10
飞利浦4H.09C02.A11电源板电路图
CRC校验日常学习笔记
09-10
CRC校验的原理和算法，CRC校验是网络通讯协议中常用校验算法
【2024首发原创】白鲨优化算法WSO-TCN-LSTM-Multihead-Attention负荷预测Matlab实现.rar
最新发布
09-10
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
Hadoop大数据环境搭建与学习指南
"这篇学习笔记详细记录了大数据Hadoop环境的搭建过程，涵盖了从Linux基础知识到Hadoop组件的安装和使用。主要知识点包括Linux系统操作、Hadoop的HDFS、YARN服务，以及相关的API应用和优化配置。" 在大数据领域，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值