大数据 、 Hadoop 、 Hadoop安装与配置 、 HDFS 案例

最新推荐文章于 2022-06-02 16:48:20 发布
最新推荐文章于 2022-06-02 16:48:20 发布
阅读量153 收藏 2
点赞数
分类专栏： 第四阶段案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36345864/article/details/105146538
版权

Top

NSD ARCHITECTURE DAY05

  1. 案例1：安装Hadoop
  2. 案例2：安装配置Hadoop

1 案例1：安装Hadoop

1.1 问题

本案例要求安装单机模式Hadoop：

  • 单机模式安装Hadoop
  • 安装JAVA环境
  • 设置环境变量，启动运行

1.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：环境准备

1）配置主机名为nn01，ip为192.168.1.60，配置yum源（系统源）

备注：由于在之前的案例中这些都已经做过，这里不再重复，不会的学员可以参考之前的案例

2）安装java环境

 
  1. [root@nn01 ~]# yum -y install java-1.8.0-openjdk-devel
  2. [root@nn01 ~]# java -version
  3. openjdk version "1.8.0_131"
  4. OpenJDK Runtime Environment (build 1.8.0_131-b12)
  5. OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
  6. [root@nn01 ~]# jps
  7. 1235 Jps

3）安装hadoop

 
  1. [root@nn01 ~]# cd hadoop/
  2. [root@nn01 hadoop]# ls
  3. hadoop-2.7.7.tar.gz kafka_2.12-2.1.0.tgz zookeeper-3.4.13.tar.gz
  4. [root@nn01 hadoop]# tar -xf hadoop-2.7.7.tar.gz
  5. [root@nn01 hadoop]# mv hadoop-2.7.7 /usr/local/hadoop
  6. [root@nn01 hadoop]# cd /usr/local/hadoop
  7. [root@nn01 hadoop]# ls
  8. bin include libexec NOTICE.txt sbin
  9. etc lib LICENSE.txt README.txt share
  10. [root@nn01 hadoop]# ./bin/hadoop //报错，JAVA_HOME没有找到
  11. Error: JAVA_HOME is not set and could not be found.
  12. [root@nn01 hadoop]#

4）解决报错问题

 
  1. [root@nn01 hadoop]# rpm -ql java-1.8.0-openjdk
  2.  
  3. [root@nn01 hadoop]# cd ./etc/hadoop/
  4. [root@nn01 hadoop]# vim hadoop-env.sh
  5. 25 export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64 /jre"
  6.  
  7. 33 export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
  8. [root@nn01 ~]# cd /usr/local/hadoop/
  9. [root@nn01 hadoop]# ./bin/hadoop
  10. Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
  11. CLASSNAME run the class named CLASSNAME
  12. or
  13. where COMMAND is one of:
  14. fs run a generic filesystem user client
  15. version print the version
  16. jar <jar> run a jar file
  17. note: please use "yarn jar" to launch
  18. YARN applications, not this command.
  19. checknative [-a|-h] check native hadoop and compression libraries availability
  20. distcp <srcurl> <desturl> copy file or directories recursively
  21. archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  22. classpath prints the class path needed to get the
  23. credential interact with credential providers
  24. Hadoop jar and the required libraries
  25. daemonlog get/set the log level for each daemon
  26. trace view and modify Hadoop tracing settings
  27.  
  28. Most commands print help when invoked w/o parameters.
  29.  
  30.  
  31.  
  32. [root@nn01 hadoop]# mkdir /usr/local/hadoop/input
  33. [root@nn01 hadoop]# ls
  34. bin etc include lib libexec LICENSE.txt NOTICE.txt input README.txt sbin share
  35. [root@nn01 hadoop]# cp *.txt /usr/local/hadoop/input
  36. [root@nn01 hadoop]# ./bin/hadoop jar \
  37. share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount input output     //wordcount为参数 统计input这个文件夹，存到output这个文件里面（这个文件不能存在，要是存在会报错，是为了防止数据覆盖）
  38. [root@nn01 hadoop]# cat output/part-r-00000 //查看

2 案例2：安装配置Hadoop

2.1 问题

本案例要求：

  • 另备三台虚拟机，安装Hadoop
  • 使所有节点能够ping通，配置SSH信任关系
  • 节点验证

2.2 方案

准备四台虚拟机，由于之前已经准备过一台，所以只需再准备三台新的虚拟机即可，安装hadoop，使所有节点可以ping通，配置SSH信任关系，如图-1所示：

 

 

图-1

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：环境准备

1）三台机器配置主机名为node1、node2、node3，配置ip地址（ip如图-1所示），yum源（系统源）

2）编辑/etc/hosts（四台主机同样操作，以nn01为例）

 
  1. [root@nn01 ~]# vim /etc/hosts
  2. 192.168.1.60 nn01
  3. 192.168.1.61 node1
  4. 192.168.1.62 node2
  5. 192.168.1.63 node3

3）安装java环境，在node1，node2，node3上面操作（以node1为例）

 
  1. [root@node1 ~]# yum -y install java-1.8.0-openjdk-devel

4）布置SSH信任关系

 
  1. [root@nn01 ~]# vim /etc/ssh/ssh_config //第一次登陆不需要输入yes
  2. Host *
  3. GSSAPIAuthentication yes
  4. StrictHostKeyChecking no
  5. [root@nn01 .ssh]# ssh-keygen
  6. Generating public/private rsa key pair.
  7. Enter file in which to save the key (/root/.ssh/id_rsa):
  8. Enter passphrase (empty for no passphrase):
  9. Enter same passphrase again:
  10. Your identification has been saved in /root/.ssh/id_rsa.
  11. Your public key has been saved in /root/.ssh/id_rsa.pub.
  12. The key fingerprint is:
  13. SHA256:Ucl8OCezw92aArY5+zPtOrJ9ol1ojRE3EAZ1mgndYQM root@nn01
  14. The key's randomart image is:
  15. +---[RSA 2048]----+
  16. | o*E*=. |
  17. | +XB+. |
  18. | ..=Oo. |
  19. | o.+o... |
  20. | .S+.. o |
  21. | + .=o |
  22. | o+oo |
  23. | o+=.o |
  24. | o==O. |
  25. +----[SHA256]-----+
  26. [root@nn01 .ssh]# for i in 61 62 63 64 ; do ssh-copy-id 192.168.1.$i; done
  27. //部署公钥给nn01，node1，node2，node3

5）测试信任关系

 
  1. [root@nn01 .ssh]# ssh node1
  2. Last login: Fri Sep 7 16:52:00 2018 from 192.168.1.60
  3. [root@node1 ~]# exit
  4. logout
  5. Connection to node1 closed.
  6. [root@nn01 .ssh]# ssh node2
  7. Last login: Fri Sep 7 16:52:05 2018 from 192.168.1.60
  8. [root@node2 ~]# exit
  9. logout
  10. Connection to node2 closed.
  11. [root@nn01 .ssh]# ssh node3

步骤二：配置hadoop

1）修改slaves文件

 
  1. [root@nn01 ~]# cd /usr/local/hadoop/etc/hadoop
  2. [root@nn01 hadoop]# vim slaves
  3. node1
  4. node2
  5. node3

2）hadoop的核心配置文件core-site

 
  1. [root@nn01 hadoop]# vim core-site.xml
  2. <configuration>
  3. <property>
  4. <name>fs.defaultFS</name>
  5. <value>hdfs://nn01:9000</value>
  6. </property>
  7. <property>
  8. <name>hadoop.tmp.dir</name>
  9. <value>/var/hadoop</value>
  10. </property>
  11. </configuration>
  12.  
  13. [root@nn01 hadoop]# mkdir /var/hadoop        //hadoop的数据根目录

3）配置hdfs-site文件

 
  1. [root@nn01 hadoop]# vim hdfs-site.xml
  2. <configuration>
  3. <property>
  4. <name>dfs.namenode.http-address</name>
  5. <value>nn01:50070</value>
  6. </property>
  7. <property>
  8. <name>dfs.namenode.secondary.http-address</name>
  9. <value>nn01:50090</value>
  10. </property>
  11. <property>
  12. <name>dfs.replication</name>
  13. <value>2</value>
  14. </property>
  15. </configuration>

4）同步配置到node1，node2，node3

 
  1. [root@nn01 hadoop]# for i in 62 63 64 ; do rsync -aSH --delete /usr/local/hadoop/
  2. \ 192.168.1.$i:/usr/local/hadoop/ -e 'ssh' & done
  3. [1] 23260
  4. [2] 23261
  5. [3] 23262

5）查看是否同步成功

 
  1. [root@nn01 hadoop]# ssh node1 ls /usr/local/hadoop/
  2. bin
  3. etc
  4. include
  5. lib
  6. libexec
  7. LICENSE.txt
  8. NOTICE.txt
  9. output
  10. README.txt
  11. sbin
  12. share
  13. input
  14. [root@nn01 hadoop]# ssh node2 ls /usr/local/hadoop/
  15. bin
  16. etc
  17. include
  18. lib
  19. libexec
  20. LICENSE.txt
  21. NOTICE.txt
  22. output
  23. README.txt
  24. sbin
  25. share
  26. input
  27. [root@nn01 hadoop]# ssh node3 ls /usr/local/hadoop/
  28. bin
  29. etc
  30. include
  31. lib
  32. libexec
  33. LICENSE.txt
  34. NOTICE.txt
  35. output
  36. README.txt
  37. sbin
  38. share
  39. input

步骤三：格式化

 
  1. [root@nn01 hadoop]# cd /usr/local/hadoop/
  2. [root@nn01 hadoop]# ./bin/hdfs namenode -format         //格式化 namenode
  3. [root@nn01 hadoop]# ./sbin/start-dfs.sh        //启动
  4. [root@nn01 hadoop]# jps        //验证角色
  5. 23408 NameNode
  6. 23700 Jps
  7. 23591 SecondaryNameNode
  8. [root@nn01 hadoop]# ./bin/hdfs dfsadmin -report        //查看集群是否组建成功
  9. Live datanodes (3):        //有三个角色成功
我爱DC
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据、Hadoop 、 Hadoop安装与配置 、 HDFS
jackjack博客
10-03 715
hadoop HDFS 的安装与配置
迪宝宝的博客
01-05 414
hadoop HDFS 的安装与配置 相关文件的处理 直接下载hadoop后解压 环境变量的配置，在安装目录的hadoop下：gedit hadoop-env.sh 配置结束直接保存 3.配置yarn-env.sh gedit yarn-env.sh 4.配置核心组件文件 [zhd@zhd hadoop]$ gedit core-site.xml &lt;!-- 指定HDFS老大（na...
Hadoop核心组件的HDFS安装与配置(二)
yuan156941828的博客
10-19 233
环境资源 操作系统版本 ]$ cat /etc/centos-release CentOS Linux release 7.5.1804 (Core) 安装HDFS IP规划 角色 主机名 IP地址 NameNode(nn) nn 192.168.1.60 DataNode(DN)1 node1 192.168.1.61 DataNode(DN)2 node2 192....
大数据 、 Hadoop 、 Hadoop安装与配置 、 HDFS 、 总结和答疑
qq_36345864的博客
03-27 231
大数据 大数据的由来 大数据 -随着计算机技术的发展，互联网的普及，信息的积累，已经到了一个非常庞大的地步，信息的增长也在不断地加快，随着互联网，物联网，建设的加快，信息更是爆炸式增长，收集，检索，统计这些信息越发困难，必须使用新技术来解决这些问题 什么是大数据 大数据的定义 -大数据指无法在一定时间范围内常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强...
Hadoop部署中出现的报错和解决方法
weixin_45620104的博客
06-02 1543
仅记录自己在做Hadoop实验部署的时候遇到的报错以及后面怎么解决的 安装java 看见有些安装教程只有yum install java-1.8.0-openjdk.x86_64，这样安装是不完整的，java -version能够查看版本，但是javac和jps命令会报错command not found 解决方法：再安装一个openjdk-devel yum install java-1.8.0-openjdk-devel.x86_64 修改hadoop-env.sh 刚开始修改为export J
Hadoop大数据平台架构与实践|HDFS
02-24
HDFS作为Hadoop的核心部分，是Hadoop中MapReduce框架的存储层。当文件的大小超过了单台计算机的存储能力时，就需要将其分区存储在不同单独的计算机上。分布式文件系统概念图文件系统的三个主要组成部分：被管理的...
大数据实验报告，Hadoop安装与配置，Docker
12-31
在本大数据实验报告中，我们将探讨如何通过Docker来安装和配置Hadoop环境，以便验证Hadoop对分布式文件系统（HDFS）和MapReduce的支持。实验的目标是深入了解Hadoop的配置、启动和验证过程，以及在分布式环境中...
大数据实践-hadoop集群安装与配置.doc
04-17
"大数据实践-Hadoop集群安装与配置" 本文档旨在指导用户实践Hadoop集群的安装和配置，涵盖了从环境搭建到Hadoop集群的安装和配置的所有步骤。通过实践本项目，用户可以初步掌握Hadoop集成环境的搭建和配置。 一、...
大数据 hdfs hadoop hbase jmeter
10-23
文件"jmeter-hdfs_hadoop-hbase"可能是这个测试项目的源代码或者配置文件，包含了JMeter脚本和相关的配置信息。 总的来说，理解和掌握Hadoop、HDFS、HBase以及JMeter对于大数据处理和性能测试至关重要。通过实际...
【Hadoop】1、hadoop单机与分布式安装配置
Alexander的博客
07-01 162
1、安装系统 2、安装jdk:yum install java-1.8.0-openjdk 3、安装ssh 4、安装rsync 5、配置免密ssh: (在root下进行) ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 6、下载安装hadoop wget h...
Hadoop核心组件之HDFS的安装与配置
邵奈一的博客
04-09 7931
教程目录 0x00 教程内容 0x01 Hadoop的获取 1. 官网下载 2. 添加微信：shaonaiyi888 3. 关注公众号：邵奈一 0x02 上传安装包到集群 1. 上传安装包到虚拟机 0x02 安装与配置Hadoop 1. 解压Hadoop 2. 配置Hadoop 3. 同步Hadoop到slave1、slave2 4. 校验HDFS 0x03 简便配置 1. 环境变量配置 2. 域名映射配置 0xFF 总结
./bin/hdfs: line 319: /usr/lib/jvm/java/bin/java: No such file or directory
qq_32539403的博客
11-29 9377
问题： Hadoop伪分布式配置，配置完core-site.xml 和 hdfs-site.xml后，运行命令后出现如下错误： 原因： 配置时，JDK的路径照抄照搬网上的教程，导致错误 解决方法： 重新修改hadoop-env.sh中： export = #JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191 成功结果： ...
Hadoop之HDFS的配置（详细步骤）
热门推荐
大数据
10-17 1万+
纵向配置： 如果使用root账户配置全部用户的环境变量，则修改配置文件： /ect/profile 如果使用用户ZQ配置环境变量，则修改配置文件： cd /home/ZQ vim .bashrc 增加如下内容： #Hadoop export HADOOP_HOME=/home/ZQ/hadoop-2.7.6 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin /home/ZQ/hadoo....
Hadoop核心组件之HDFS详解【运行机制、安装、操作与实战、NameNode高可用】
zp的博客
04-03 864
一、Hadoop的3个核心组件： 分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MapReduce——实现在很多机器上分布式并行运算 分布式资源调度平台：YARN——帮用户调度大量的MapReduce程序，并合理分配运算资源 二、HDFS整体运行机制 HDFS：分布式文件系统 2.1HDFS有着文件系统共同的特征 有目录结构，顶层...
大数据案例之HDFS-HIVE
u012423347的专栏
01-12 1321
基于Hdfs、hive、mysql数据处理案例，闲时自玩项目 数据采集 数据采集方式有很多种，一般在项目中采用数据上报方式。本地为了方便测试则采用读取csv文件。后续python自动抓取数据。 链接: https://pan.baidu.com/s/1cOCe1GXAxtkXCUbvY0MWFw 提取码: r23c 数据量不多，侧重于功能 数据处理 清洗数据,统计分析数据，结果存储HDFS ,加载至HIVE, Sqoop至MYSQL CSV 数据加载入Hadoop 部分代码 publi.
Hadoop之——HDFS操作实例
冰河的专栏
05-22 1万+
本文通过两种方式来讲解hadoop中对HDFS文件系统的操作，第一种方式是命令行，第二种方式是通过java代码来实现。       一、命令行方式：hadoop fs xxx          hadoop fs xxx  hadoop fs -ls  /    查看hdfs的根目录下的内容的          hadoop fs -lsr /    递归查看hdfs的根目录下的内容的
VB计算机机房管理系统设计(源代码+系统).zip
08-18
计算机毕业设计资源包含（项目部署视频+源码+LW+开题报告等等），所有项目经过助教老师跑通，有问题可以私信博主解决，可以免费帮部署。
毕业设计论文写作模板.zip
08-18
毕业设计 题目： 基于xxxxxx框架的设计与实现 姓 名: 学 号: 层 次: 本科 专 业: 软件工程 班 级: xx级软件工程01班 指导教师: 2022年5月 xxxx学院教务处 制 独创性声明 一、本设计是本人独立完成； 二、本设计没有任何抄袭行为； 三、若有不实，一经查出，请答辩委员会取消本人答辩资格。 承诺人（签名）： 年 月 日
基于springboot的高校心理教育辅导系统 源码+数据库（毕业设计）
最新发布
08-18
基于Vue.js和SpringBoot的高校心理教育辅导系统是一个综合性的在线平台，旨在为高校学生、教师和管理员提供心理教育和辅导服务。该系统分为管理后台和用户网页端，支持多种角色使用，包括管理员、学生和教师。 辅导预约：学生可以通过该模块预约心理辅导服务，管理员可以查看和管理预约信息。 测评结果：系统提供心理测评工具，学生可以在线完成测评，系统自动生成测评结果供学生和教师查看。 试题和试卷：教师可以创建和管理试题库，设计试卷并组织在线考试，学生可以在线参加考试并查看成绩。 考试：系统支持在线考试功能，包括考试安排、考试监控、成绩统计等。 留言板：提供一个交流平台，学生、教师和管理员可以发布留言、交流心得和反馈意见。 录屏：https://www.bilibili.com/video/BV1Ct4y1d7L4 教程：https://space.bilibili.com/417412814/channel/collectiondetail?sid=2242844
Hadoop大数据与云计算教程：HDFS核心讲解
"该资源是一个全面的大数据与云计算教程系列，涵盖了从Hadoop基础到高级应用的多个主题，包括HDFS、MapReduce、Hive、HBase、Pig、Zookeeper、Sqoop、Kafka、Storm、Spark、Oozie、Impala、Solr、Lily、Titan、Neo4j...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值