Hadoop之基本环境搭建

最新推荐文章于 2022-05-09 13:48:24 发布
最新推荐文章于 2022-05-09 13:48:24 发布
阅读量300 收藏 2
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taka_is_beauty/article/details/109453615
版权

1.Hadoop的本地运行模式

1.1克隆虚拟机！

1.2修改主机名！

  • sudo vim /etc/hostname   ，重启reboot   

1.3网络节点进行通信！

  • sduo vim /etc/hosts   192.168.91.139 master

1.4创建文件夹：

  • sudo chown pyvip:pyvip model/ software/  #赋予用户文件权限
  • tar  -zxvf   jdk...  -C /opt/model/    #解压文件

1.5安装jdk：

  • sudo vim /etc/profile  #配置jdk环境变量
  • source /etc/profile   #重启环境变量
  • java -version  #查看是否成功

1.6安装hadoop：

  • tar  -zxvf   jdk...  -C /opt/model/    #解压文件
  • sudo vim /etc/profile  #配置hadoop环境变量
  • 确认成功  hadoop！
  • #vim /opt/model/hadoop-2.7.2/etc/hadoop/hadoop-env.sh   修改JAVA_HOME路径！

1.7grep案例：

pyvip@master:/opt/model/hadoop-2.7.2$ mkdir input #创建输入文件

cp etc/hadoop/*.xml input/  #给输入文件夹拷贝

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+'  
# 运行hadoop的jar文件  jar文件路径   命令  输入路径  输出路径  过滤条件
#统计出符合过滤条件的单词进行输出

1.8wordcount案例：

mkdir wcinput  #创建文件夹

touch wc.input   vi wc.input   cd ..  #写文件

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput    
#启动hadoop的jar程序  wordcount命令  输入文件夹  输出文件夹

2.伪分布式运行hadoop案例

2.1配置集群：

hadoop-2.7.2的etc/hadoop目录下：
（a）配置：core-site.xml
    <!-- 指定HDFS中NameNode的地址 /主机名 hadoop101 -->
    <property>
	    <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
	    <name>hadoop.tmp.dir</name>
	    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>
（b）配置：hdfs-site.xml  
    <!-- 指定HDFS副本的数量 默认是三个（意思是需要有三个副本主机来存储的）-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>    
	</property>

2.2启动集群：

（a）格式化namenode（第一次启动时格式化）
    bin/hdfs namenode -format
（b）启动namenode 
    sbin/hadoop-daemon.sh start namenode  #stop停止
（c）启动datanode
    sbin/hadoop-daemon.sh start datanode  #jsp查看下

2.3查看集群：

（a）查看是否启动成功
    jps  #必须配置jdk的环境变量才可以！
（b）查看产生的log日志
    当前目录：/opt/module/hadoop-2.7.2/logs
    cat hadoop-atguigu-datanode-hadoop101.log
（c）web端查看HDFS文件系统
    http://192.168.1.101:50070  #主机号/IP地址都可以！

2.4操作集群：

（a）在hdfs文件系统上创建一个input文件夹
    bin/hdfs dfs -mkdir -p /user/atguigu/input
（b）将测试文件内容上传到文件系统上
    bin/hdfs dfs -put wcinput/wc.input  /user/atguigu/input/
（c）查看上传的文件是否正确
    bin/hdfs dfs -cat  /user/atguigu/ input/wc.input
（d）运行mapreduce程序
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount
    /user/atguigu/input/ /user/atguigu/output
（e）查看输出结果
    命令行查看：bin/hdfs dfs -cat /user/atguigu/output/p*
    浏览器查看：/user/master/output
（f）将测试文件内容下载到本地
    hadoop fs -get /user/atguigu/output/part-r-00000 ./wcoutput/
    #把atguig下的uoutput结果下载到wcoutput里面
（g）删除输出结果
    hdfs dfs -rmr /user/atguigu/output

3.YARN上运行MapReduce 程序

3.1配置集群：

 在etc/hadoop目录下
（a）配置yarn-env.sh  修改JAVA_HOME
（b）配置yarn-site.xml
    <!-- reducer获取数据的方式 -->
    <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
（c）配置：mapred-env.sh 配置一下JAVA_HOME
（d）配置： 对mapred-site.xml.template重新命名为 mapred-site.xml
    mv mapred-site.xml.template mapred-site.xml
    <!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

3.2启动集群：

（a）启动前必须保证namenode和datanode已经启动  因为yarn是调度，要先启动任务
（b）启动resourcemanager
    sbin/yarn-daemon.sh start resourcemanager
（c）启动nodemanager
    sbin/yarn-daemon.sh start nodemanager

3.3操作集群：

（a）yarn的浏览器页面查看
    http://192.168.1.101:8088/  #主机号也行
（b）删除文件系统上的output文件  #一定要提前删除 
    hdfs dfs -rm -R /user/atguigu/output
（c）执行mapreduce程序
    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar 
    wordcount /user/atguigu/input  /user/atguigu/output
（d）查看运行结果
    hdfs dfs -cat /user/master/output/p*

 

 

4.完全分布式部署Hadoop

4.1基础linux命令：

sudo chmod 777 xsync  #改为可读可写可执行
sudo chown pyvip:pyvip xsync #更改操作用户
basename  /opt/tmp/test.txt  返回test.txt
dirname   /opt/tmp/test.txt  返回/opt/tmp
whoami  返回用户

4.2基础环境准备

  • 虚拟机开启三台，确保可以互相通信。
  • scp可以实现服务器与服务器之间的数据完全的拷贝。
  • 详细介绍如下：
@坑：使用root用户时由于配置问题，权限错误
# 第一步: vim /etc/ssh/sshd_config
# 第二步: 注释这句话 PermitRootLogin prohibit-password
# 第三步: 新增加一条 PermitRootLogin yes
# 第四步重启服服：/etc/init.d/ssh restart
1）将本地hadoop101中/opt/module目录拷贝到hadoop102、hadoop103和hadoop104上。
    scp -r /opt/module/  root@hadoop104:/opt
2）将hadoop101服务器上的/etc/profile文件拷贝到本地hadoop102、hadoop103和hadoop104上。
    #要注意：source /etc/profile  重启环境变量
    scp root@hadoop101:/etc/profile /etc/profile
3）在hadoop103上操作将hadoop101中/opt/software/目录拷贝到hadoop102的/opt目录上。
    scp -r root@hadoop101:/opt/software root@hadoop102:/opt/ 需要先实现免密登录
  • 实现SSH无密码登录
  • 详细介绍如下：
1）基本语法
    ssh 另一台电脑的ip地址/主机名  实现了远程登录  ssh master
2）无密钥配置
    （1）进入到我的家目录，然后：cd .ssh/
    （2）生成公钥和私钥：ssh-keygen -t rsa 加三次回车
    （3）将公钥拷贝到要免密登录的目标机器上 ssh-copy-id hadoop103

  • rsync远程同步工具，用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
  • 详细介绍如下：
把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt        
rsync -rvl /opt/tmp root@hadoop103:/opt/
  • 编写集群分发脚本xsync
1）需求分析：循环复制文件到所有节点的相同目录下。
（1）原始拷贝：rsync  -rvl     /opt/module  root@hadoop103:/opt/
（2）期望脚本：xsync 要同步的文件名称
（3）在/usr/local/bin这个目录下存放的脚本，可以在系统任何地方直接执行。
2）案例
（1）在/usr/local/bin目录下创建xsync文件
    #!/bin/bash
    #1 获取输入参数个数，如果没有参数，直接退出
    pcount=$#
    if((pcount==0)); then
    echo no args;
    exit;
    fi
    #2 获取文件名称
    p1=$1
    fname=`basename $p1`
    echo fname=$fname
    #3 获取上级目录到绝对路径
    pdir=`cd -P $(dirname $p1); pwd`
    echo pdir=$pdir
    #4 获取当前用户名称
    user=`whoami`
    #5 循环
    for((host=103; host<105; host++)); do
            #echo $pdir/$fname $user@hadoop$host:$pdir
            echo --------------- hadoop$host ----------------
            rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
    done
（2）修改脚本 xsync 具有执行权限  chown atguigu:atguigu  xsync
（3）调用脚本形式：xsync 文件名称 比如：xsync tmp/

4.3集群部署规划

      hadoop102                                           hadoop103                                         hadoop104

  放：NameNode                                                                                        放：SecondaryNameNode
    DataNode //副本                                   DataNode//副本                                 DataNode//副本                                            
NodeManager//对应副本                    NodeManager//对应副本                  NodeManager//对应副本                   
                                                           放：ResourceManager

4.4配置集群

@etc/hadoop目录下
（1）core-site.xml文件
    <!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
	</property>
（2）Hdfs
    hadoop-env.sh ：export JAVA_HOME=/opt/module/jdk1.8.0_144
    hdfs-site.xml文件
    <configuration>	
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave1:50090</value>
    </property>
    </configuration>
    slaves 文件
    master
    slave2
    slave1
（3）yarn
    yarn-env.sh ：export JAVA_HOME=/opt/module/jdk1.8.0_144
    yarn-site.xml文件
    <!-- reducer获取数据的方式 -->
	<property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
	</property>
	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>slave2</value>
	</property>
（4）mapreduce
    mapred-env.sh ：export JAVA_HOME=/opt/module/jdk1.8.0_144
    mapred-site.xml文件
    <!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

4.5在集群上分发以上所有文件

xsync hadoop/
查看成功，在其他服务器上cat hadoop/slaves

4.6集群启动及测试

1）启动集群
（0）如果集群是第一次启动，需要格式化namenode
    bin/hdfs namenode -format
（1）启动HDFS（底下组件都会启动）：
    sbin/start-dfs.sh
（2）启动yarn（底下组件都会启动）
    sbin/start-yarn.sh
2）集群基本测试
（1）上传文件到集群
     hadoop fs -mkdir -p /user/atguigu/input
    上传小文件 ：hadoop fs -put wcinput/wc.input /user/atguigu/input
    上传大文件 ：hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz  /user/atguigu/input
（2）上传文件后查看文件存放在什么位置
    /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/
    BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
（3）拼接
    cat blk_1073741836>>tmp.file #放到一个临时文件
    cat blk_1073741837>>tmp.file
    tar -zxvf tmp.file  #解压到当前文件
（4）下载
    bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz

4.7Hadoop启动停止方式

1）各个服务组件逐一启动
    （1）分别启动hdfs组件
        hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode
    （2）启动yarn
        yarn-daemon.sh  start|stop  resourcemanager|nodemanager
2）各个模块分开启动（配置ssh是前提）常用
    （1）整体启动/停止hdfs：start-dfs.sh stop-dfs.sh
    （2）整体启动/停止yarn：start-yarn.sh stop-yarn.sh
3）全部启动（不建议使用）
    start-all.sh  stop-all.sh
下一秒，待续
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文件的读写基本操作
范高伦的博客
09-07 1万+
一、文件是计算机中数据持久化存储的表现形式 读写文件标准操作格式1： 1、打开文件：file1 = open('文件名','读写模式') 2、操作文件 3、关闭文件：file1.close() 文件操作完毕后必须关闭，否则长期保持对文件的连接状态，造成内存溢出的现象发生 读写文件操作格式2： # 1、打开文件 file1 = open('demo.txt','w') # 2、操作文件 file1.write('hello world') # 3、关闭文件 file1.close() 1、打开文件：wi
Hadoop环境搭建
chftig
07-29 539
包含hadoop、hive、hbase、zookeeper、storm、spark、Kafka、flume、sqoop一、服务器基本配置服务器系统版本：CentOS release 6.4 (Final) JDK版本：java version “1.7.0_60*二、 集群信息三、 各组件版本信息四、安装步骤4.1 环境基本配置addusr hadusr #创建用户 passwd h
Mysql pid 文件
mijinhuandu的专栏
11-03 7124
MySQL pid 文件记录的是当前 mysqld 进程的 pid，pid 亦即 Process ID。未指定 pid 文件时，pid 文件默认名为 主机名.pid，存放的路径在默认 MySQL 的数据目录。通过 mysqld_safe 启动 MySQL 时，mysqld_safe 会检查 pid 文件，如果 pid 文件不存在，不做处理；如果文件存在，且 pid 已占用则报错 “A mysqld......
Linux下安装tomcat8启动报错
dachui的博客
09-21 454
原生安装tomcat8之后,启动 ./startup.sh 报错 /usr/local/tomcat/tomcat8/logs/catalina.out: 没有那个文件或目录 检查发现没有配置日志输出文件路径: mkdir /usr/local/tomcat8/logs 正常启动:
Hadoop的安装
Trony的博客
11-30 668
一、Hadoop的安装 1.1 安装前注意事项 Hadoop运行的前提是已经在本机安装了JDK，配置JAVA_HOME变量 在Hadoop中启动多种不同类型的进程，需要配置主机名到IP的映射 注意权限：Hadoop框架运行需要产生的很多数据，数据保存目录，必须让当前启动Hadoop进程的用户有写权限 关闭防火墙 1.2 Hadoop安装过程 进入Hadoop安装包路径下，使用tar -zxvf命令进行解压 将Hadoop添加到环境变量中 1.2.1 Hadoop目录结构 bin目录：
MapReduce简介
intmiss的博客
10-29 916
MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并...
Hadoop的基本环境搭建全流程
最新发布
03-22
hadoop环境搭建
hadoop实验环境搭建
05-27
接着，你可以进行一些基本的Hadoop操作，如上传文件、创建HDFS目录、运行MapReduce作业等，以验证环境是否正确搭建。 总之，搭建Hadoop实验环境涉及多个步骤，包括虚拟机配置、软件安装、SSH配置、JDK安装和Hadoop...
hadoop-3.2.2环境搭建操作安装指南
06-02
本指南将详细介绍如何在本地环境中搭建Hadoop 3.2.2版本的环境，这对于初学者和对大数据感兴趣的人来说是一个很好的起点。 首先，我们需要了解Hadoop的基本构成。Hadoop主要由两个核心部分组成：Hadoop Distributed...
hadoop环境搭建资源
08-30
本资源包含Hadoop环境搭建所需的关键组件，主要为Hadoop 2.7.2和Java Development Kit (JDK) 8u181的Linux版本。 1. **Hadoop 2.7.2**: 这是Hadoop的一个稳定版本，它支持HDFS（Hadoop Distributed File System）和...
使用Maven搭建Hadoop开发环境
09-01
在本文中，我们将深入探讨如何使用Maven来搭建Hadoop的开发环境。Maven是一个项目管理和综合工具，它简化了Java项目的构建、依赖管理和文档生成过程。Hadoop则是一个分布式计算框架，用于处理和存储大规模数据。通过...
MySQL 启动失败报错无法更新pid文件
热门推荐
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
05-09 3万+
一、问题描述 某次因MySQL故障，一线人员反馈MySQL启动，一直无法启动，报错：启动mysql失败 ERROR! The server quit without updating PID file (/usr/local/mysql/data/mysql.pid). 二、问题分析 1）pid文件缺失，MySQL本身存在重启pid文件丢失，重启不会重建的问题。可能原因： mysql的端口被占用 生成pid文件的目录mysql的权限不足 mysql对应的my.cnf配置文件错误 mysql的启动脚本有问题
MySQL启动失败，未生成pid文件的解决方法
漠效的博客
06-20 3万+
前言 下面介绍的是mysql启动失败，报错为没有pid文件的问题的各种解决方法。 问题原因 首先pid文件是mysql启动后，生成的一个文件，里面记录的是mysql当前的进程号，如果创建失败，mysql就无法启动。 可能原因： mysql的端口被占用 生成pid文件的目录mysql的权限不足 mysql对应的my.cnf配置文件错误 mysql的启动脚本有问题 mysql有残余数据影响了...
hadoop安装与配置（本地模式）
lihuan1124的博客
06-22 1201
hadoop版本:hadoop-2.7.2虚拟机安装前期配置：IP地址、IP与主机映射、关闭防火墙一、安装java jdk   1、下载java jdk1.8版本，放在/home/software目录下，   2、解压：tar -zxvf java-jdk*****.jar   3、vim ~/.bash_profile12345#添加export JAVA_HOME=root/app/jdk1....
【转】mysql指定路径启动
weixin_30616969的博客
12-14 431
/usr/sbin/mysqld --defaults-file=/etc/mysql/my.cnf --basedir=/usr --datadir=/var/lib/mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock以下内容转：http://chengxuyuan.naxi...
mysql服务启动超时,更新pid文件失败(亲测实用)
知也无涯
11-28 4259
The server quit without updating PID file (/[失败]b/mysql/root.pid) 禁止转载 一:BUG截图 在网上找了许多博客,提供了很多种解决方案,但是都未成功(弄到凌晨4点多没解决,第二天中午十几分钟就搞定了),自己重复装了MySQL,是不是MySQL没有卸载干净的原因 网上提供的解决方案:http://blog.csdn.n...
centos7 mysql 机器重启后pid文件丢失导致mysql 服务无法重启
binglan520的专栏
09-02 3516
1. 首先执行命令vim /etc/my.cnf 查看pid存储的路径 pid-file=xxxxxx 2.到对应的路径下查看发现已经丢失了，mysqld.pid创建在系统的run目录下，该目录是运行在内存中的，因此服务器重启后文件不存在。 3. 进行如下修改，比如将pid文件更换位置，比如存储到/var/lib/mysql/下 执行命令 vim /etc/init.d/mysqld 找到如下文本内容，将pid-file后面的路径修改成新的路径 get_mysql_option mysqld d.
Hadoop之HBase基本简介
taka_is_beauty的博客
11-07 4208
目录 1.HBase的基本概念 2.HBase的工作流程 1.HBase的基本概念 1.1基本概念 HBase运行在HDFS上，所以HBase中的数据以多副本形式存放，数据也服从分布式存放，数据的恢复也可以得到保障。 HBase支持横向扩展，这就意味着如果现有服务器硬件性能出现瓶颈只需要在现有的正在运行的集群中添加新的机器节点即可。 HBase是面向列存储的非关系型数据库，每个列都单独存储，所以在HBase中列是连续存储的，而行不是，区别于关系型数据库。 HBase不支持事务，适合结构化数据
Hadoop实验手册.docx
11-26
在Hadoop云计算环境搭建的过程中，首先需要设置主机名，并在虚拟机环境下安装Linux操作系统，这里推荐使用Ubuntu。VirtualBox作为虚拟机管理工具，新创建的虚拟机应配置适当内存（例如1GB），并选择动态扩展的虚拟...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值