大数据技术之HADOOP搭建

最新推荐文章于 2024-05-26 13:24:12 发布
最新推荐文章于 2024-05-26 13:24:12 发布
阅读量1.7k 收藏 3
点赞数
分类专栏： 笔记 文章标签： hadoop centos hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45871855/article/details/122268254
版权

一、虚拟机的安装

二、CentOS的安装

记得选择镜像文件

请添加图片描述

如果报虚拟化错误，记得在BIOS操作系统界面开启一下。
安装的时候可以不用选择分区的设置。
中间的一些设置：
请添加图片描述
请添加图片描述请添加图片描述请添加图片描述请添加图片描述

如果你的虚拟机安装过程中老黑屏，试试如下设置。
请添加图片描述

安装成功后，不会出现图形化界面的。
请添加图片描述

三、讲解远程连接工具的使用

1、通过finalShell 远程连接Linux

FinalShell 可以远程输入Linux的命令操作，类似于Linux的黑窗口还可以远程将本地的文件上传给Linux,Linux下的文件也可以下载到本地电脑。
请添加图片描述请添加图片描述

2、通过NodePad++ 远程连接Linux

它只用于操作Linux中的文本文件。

请添加图片描述请添加图片描述
请添加图片描述请添加图片描述

当我需要修改Linux中的任何文本内容的时候，只需要双击就可以修改，修改完之后一定要报错才能上传至Linux.

四、虚拟机进行一些设置

1、设置网络为静态网络

先检查网络是否正常

ip addr 查看网络地址

请添加图片描述

ping www.baidu.com 如果ping的通，说明外网访问也没有问题

请添加图片描述设置IP地址为固定IP:
通过修改Linux中的某个配置文件，达到固定IP的作用。
找到 /etc/sysconfig/network-scripts/ifcfg-ens33 这个文件，双击
请添加图片描述一定记得不要写错单词，IPADDR 和 GATEWAY 修改成自己的，自己的IP在虚拟网络编辑器中。请添加图片描述修改完成后，记得重启网卡 ： systemctl restart network

2、设置hostname

  1. 查看当前的主机名 hostname
  2. 临时修改主机名 hostname bigdata01
    3） 修改主机名 通过修改文件的形式修改主机名
    vi /etc/hostname 进行编辑即可。

请添加图片描述

3、关闭防火墙

关闭防火墙
查看防火墙状态： systemctl status firewalld
关闭： systemctl stop firewalld
为了防止下一次重启的时候防火漆再次开启，我们要设置开机不启动： systemctl disable firewalld

4、同步linux的时间

1） date 查看当前时间
2） 如果时间跟网络上的时间不一致，我们需要进行时间的同步
yum install -y ntpdate 安装软件
ntpdate -u ntp.api.bz 通过该软件进行时间的同步

五、在Linux上安装jdk

1） /root 下创建一个文件夹 software ,便于将来我把需要安装的安装包都先放在此文件夹下。
mkdir software
2）进入到software文件夹下，通过finalshell 将本地的jdk安装包拖拽到 software文件夹下
3）解压jdk
tar -xvf jdk-8u221-linux-x64.tar.gz -C /usr/local
4) 进入到 /usr/local 下查看一下
cd /usr/local/
5） 修改文件名
mv jdk1.8.0_221 jdk
请添加图片描述
6）进行环境变量的配置
修改 /etc/profile
在profile文件的最后，追加以下配置

export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

7、刷新一下配置文件 source /etc/profile
8、验证jdk是否安装成功 java -version

请添加图片描述

六、Linux安装Hadoop

1、将Hadoop 的安装包，上传到 /root/software下
2、解压该安装包到 /usr/local/

tar -xvf hadoop-2.7.6.tar.gz -C /usr/local

3、修改hadoop 的文件夹名字 mv hadoop-2.7.6 hadoop
4、配置环境变量 修改 /etc/profile

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、刷新一下配置文件 source /etc/profile
6、验证配置是否生效
hadoop version
请添加图片描述

七、跑一个wordcount 案例

1、hadoop 环境安装好之后，创建三个文本文件 a.txt b.txt c.txt 存放在 /home/input 下
2、运行hadoop 自带的wordcount案例jar包
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /home/input/ /home/output/
3、查看执行结果 ，进入/home/output 下 ，查看 cat /home/output/part-r-00000 这样一个统计的结果
请添加图片描述

八、搭建大数据平台

1、伪分布式搭建

伪分布式搭建 --> 伪分布式搭建，步骤完全按照分布式进行搭建，但是电脑只有一台，所有叫伪分布式搭建

准备工作：
1） 修改 /etc/hosts文件

  192.168.32.137 bigdata01
  192.168.32.138 bigdata02
  192.168.32.139 bigdata03

在这里插入图片描述

2）免密登录需要做好（为了将来搭建全分布式环境，电脑之间传递数据时方便）
ssh-keygen -t rsa 生成公钥和私钥，生成的公钥和私钥存放在 .ssh 文件夹下
ssh-copy-id root@localhost 通过该命令将产生的公钥拷贝到指定电脑上。
ssh 需要连接的IP(hostname) 就可以连接上。
开始进行伪分布平台的搭建： /usr/local/hadoop/etc/hadoop/ 此文件夹下是hadoop的配置文件

在这里插入图片描述

1、修改core-site.xml

<configuration>
   <property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://localhost:8020/</value> 
   </property>
</configuration>

2、修改hdfs-site.xml

<configuration>
<property>
   <name>dfs.replication</name> 
   <value>1</value> 
</property>
</configuration>

3、修改hadoop-env.sh
请添加图片描述

4、namenode 的格式化
hdfs namenode -format
中间不能有任何的错误，格式化不成功，需要仔细看日志
5、启动hdfs start-dfs.sh
6、通过 jps 查看进程，如果出现三个，说明正确
请添加图片描述
7、通过浏览器可以查看图形化界面 http://192.168.32.137:50070

请添加图片描述

2、全分布式项目搭建

如果我们是从伪分布式环境过渡多来的话，需要先进行一些处理。
1） 停止hdfs stop-dfs.sh
2) 删除namenode datanode 的临时文件夹
/tmp/hadoop-root
删除里面的全部内容 rm -rf /tmp/hadoop-root/*
操作完成后，将虚拟机停止，进行快照，并且克隆两份
先进行快照，选中虚拟机，右键，选择快照即可。
请添加图片描述请添加图片描述

请添加图片描述
请添加图片描述

克隆出来的系统跟原来的系统是一模一样的。
我们需要修改如下内容：
1、需要修改IP地址
需要将两台服务器，启动起来，通过vi 编辑器修改IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改里面的ipaddr 保存即可。
2、hostname 也一模一样
vi /etc/hostname 或者使用hostnamectl set-hostname 名称

3、搞几个脚本文件

请添加图片描述

jps-cluster.sh 用于查看多台电脑上的jps进程，省去了切换电脑的麻烦。
1、将以上脚本复制到 /usr/local/bin 下
2、给两个脚本文件赋可以执行的权限

 chmod u+x xcall.sh
 chmod u+x xsync.sh
 chmod u+x jps-cluster.sh

3、三台电脑安装rsync

yum install -y rsync

4、测试一下
给每台电脑都创建一个文件夹 xcall.sh mkdir jiaoben
查看每一个电脑上是否有该文件夹 xcall.sh ls
测试一下文件同步脚本 xsync.sh /etc/profile

4、搭建完全分布式的集群环境

进入到hadoop的安装路径 /usr/local/hadoop/etc/hadoop 中进行修改
1、修改core-site.xml

	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:8020</value>
    </property>
     <!-- hdfs的基础路径，被其他属性所依赖的一个基础路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>

2、修改hdfs-site.xml

<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/name</value>
    </property>
    <!-- 确定DFS数据节点应该将其块存储在本地文件系统的何处-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/data</value>
    </property>
    <!-- 块的副本数-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 块的大小(128M),下面的单位是字节-->
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
    <!-- secondarynamenode守护进程的http地址：主机名和端口号。参考守护进程布局-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata02:50090</value>
    </property>
    <!-- namenode守护进程的http地址：主机名和端口号。参考守护进程布局-->
  <property>
      <name>dfs.namenode.http-address</name>
      <value>bigdata01:50070</value>
  </property>

3、mapred-site.xml (从一个模板拷贝过来的文件 cp mapred-site.xml.template mapred-site.xml)

<!-- 指定mapreduce使用yarn资源管理器-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 配置作业历史服务器的地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata01:10020</value>
    </property>
    <!-- 配置作业历史服务器的http地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata01:19888</value>
    </property>

4、yarn-site.xml

<!-- 指定yarn的shuffle技术-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定resourcemanager的主机名-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata01</value>
    </property> 
    <!--下面的可选-->
    <!--指定shuffle对应的类 -->
  <property> 
  <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property>
​
  <!--配置resourcemanager的内部通讯地址-->
  <property>
  <name>yarn.resourcemanager.address</name>
  <value>bigdata01:8032</value>
  </property>
​
  <!--配置resourcemanager的scheduler的内部通讯地址-->
  <property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>bigdata01:8030</value>
  </property>
​
  <!--配置resoucemanager的资源调度的内部通讯地址-->
  <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>bigdata01:8031</value>
  </property>
​
  <!--配置resourcemanager的管理员的内部通讯地址-->
  <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>bigdata01:8033</value>
  </property>
​
  <!--配置resourcemanager的web ui 的监控页面-->
  <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>bigdata01:8088</value>
  </property>

5、修改hadoop-env.sh 中的jdk路径

请添加图片描述
6、修改yarn-env.sh

请添加图片描述
7、修改slaves:

bigdata01
bigdata02
bigdata03

修改大概7个文件，然后每一台电脑上都需要修改。可以使用同步的脚本文件命令

xsync.sh /usr/local/hadoop/etc/hadoop/

同步以上文件夹。

8、测试免密登录没问题

请添加图片描述
9、格式化namenode
hdfs namenode -format
10、启动hdfs平台
start-dfs.sh
启动过程中的日志，都存储在截图位置上
请添加图片描述

运行脚本文件 jps-cluster.sh 查看所有电脑的进程，如图所示，表示成功了

请添加图片描述
11、启动yarn平台 start-yarn.sh
请添加图片描述

12、可以通过图形化的界面访问我们的hdfs以及yarn平台
hdfs平台的访问地址： 192.168.32.137:50070
请添加图片描述

访问yarn平台： 192.168.32.137:8088

请添加图片描述

青山老茶树
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实训任务4：Hadoop综合操作
howard2005的专栏
12-08 1188
通过实训，使学生更加熟练掌握HDFS操作和MapReduce编程
6-大数据技术之Hadoop运行环境搭建（重点）
12-15
6_大数据技术之Hadoop运行环境搭建（重点）
05-hadoop02之HDFS
qq_43819048的博客
09-01 127
目前遇到的问题是什么？1、你是否有这样的困惑？整个集群，每一个服务器上都需要输入 jps 查看服务。能否实现，在bigdata01上输入一个命令，直接出三台服务器上的所有正在运行的jps。它来了：所有的自定义的脚本文件，存放在/usr/local/bin 下面创建 vi jps-cluster.sh编辑保存退出。
查看多台机器所有进程
QYHuiiQ
07-04 403
以查看hadoop集群中的三台节点上的进程为例：
Hadoop创建文件、上传文件、下载文件、修改文件名、删除文件精细全流程
最新发布
2302_80057307的博客
05-26 607
Hadoop文件创建目录，下载文件，上传文件，删除文件，更改文件名，具体操作
HDFS文件创建与写入
weixin_51551506的博客
11-02 1万+
此时，将本地的log文件内容，追加到了刚才创建的HDFS文件中，运行下面的命令，查看追加后的文件内容。运行后，已经将HDFS上的test.txt和hello.txt文件文件进行了合并，并且下载在本地。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。运行后显示如下，此时在HDFS的根目录下创建了log1和log2两个文件夹。运行后显示如下，可见此时根目录下已存在hello.txt文件。运行后显示如下，可见之前两个HDFS文件的内容都在这个文件中。
HDFS常用操作
zbb50351772的博客
05-09 5932
大数据学习笔记01 学习林子雨大数据教材的一些笔记 HDFS常用操作 启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；$ cd /usr/local/hadoop $ ./sbin/start-dfs.sh $ jps 在Linux系统的本地文件系统的“/usr/local/spark/mycode”目录下新建一个文本文件Word.txt$ cd /usr/local/spark $ mkdir mycode $ touch Word.txt || $vim Word.t
大数据技术之HadoopHA视频教程
07-08
HA(High Available)意为高可用，在本课程中主要是Hadoop的高可用，在实际开发环境中是必不可少的技术之一。你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，...
大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop
01-09
标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目，主要用于处理和存储海量数据，其分布式...
大数据技术_Hadoop
03-26
【大数据技术_Hadoop】是关于大数据处理领域中的核心框架&mdash;&mdash;Hadoop的学习资料集合。这个压缩包包含了一系列文档，旨在帮助初学者理解并掌握Hadoop的基本概念、安装配置以及实际操作。下面将对这些知识点进行详细...
Hadoop配置文件.txt
06-05
Hadoop的4个xml配置文件core-site.xml、hdfs-site.xml配置、mapred-site.xml配置、yarn-site.xml配置
Hadoop shell常用命令
10-22
该文档记录了在linux的shell环境下执行的hadoop的相关操作命令，包括多hafs文件的相关操作
HDFS上创建文件、写入内容
weixin_33905756的博客
10-12 1万+
1.创建文件 hdfs dfs -touchz /aaa/aa.txt 2.写入内容 echo "<Text to append>" | hdfs dfs -appendToFile - /aaa/aa.txt 转载于:https://www.cnblogs.com/zxbzl/p/7656798.html
Hadoop 创建文件并写入数据
QQ331948781的专栏
04-05 3408
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; pu
HDFS笔记（2） zookeeper
weixin_45203191的博客
08-03 315
hdfs笔记（2）
大数据：Hadoop文件操作HDFS常用命令（一）
热门推荐
Zhang Phil
08-09 2万+
大数据：Hadoop文件操作HDFS常用命令（一） 1、创建目录。在HDFS中创建一个文件目录： hadoop dfs -mkdir 2、查看文件结构目录： hdfs dfs -ls -R / 例如，在HDFS中创建一个test_dir的文件目录，然后查看： 如果查看具体某一个文件目录下的文件层次，则为： hadoop fs -ls /mydir myd...
hadoop的shell指令fs -put为什么不可以把创建好的.txt文件放入到input文件中呢
zouxuetao的博客
11-02 1281
因为创建的位置很重要 犯错原因：可能是直接把TXT文件创建到了hadoop默认的文件夹里面去了，而是使用put指令的时候找不到相应的想要上传的文件。 改正做法：首先你可以用./hadoop fs -ls 检查自己的hadoop默认文件是否创建了txt文件，若存在的话，则说明你可能就是创建错了位置。 这时如何改正呢，首先使用./hadoop fs -rm x.txt删除你在默认文件夹中创建的文件。然后使用vim x.txt命令创建一个可编辑文件，进入创建的文件之后按住I键插入内容，写完之后按Esc之后，用：w
大数据技术开发环境搭建指南
大数据技术开发环境搭建 大数据技术开发环境搭建是指通过安装和配置各种大数据相关工具和技术，建立一个完整的开发环境，以便进行大数据开发和应用。下面是大数据技术开发环境搭建的知识点： 1. 虚拟机管理器安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值