Hadoop-入门

最新推荐文章于 2021-12-16 17:37:29 发布
最新推荐文章于 2021-12-16 17:37:29 发布
阅读量189 收藏
点赞数
分类专栏： hadoop 大数据 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daxiongwuwuwuw/article/details/107609029
版权

hadoop入门

概念

hadoop是一个由apache基金会所开发的分布式系统基础架构，主要是用来解决海量数据的存储和海量数据的分析计算问题。hadoop广义上指的是hadoop生态圈。

组成

hadoop1.x由mapreduce、hdfs和common（辅助工具组成）
在1.x的时代，mapredyce同时处理业务逻辑计算和资源的调度，耦合性比较大。
hadoop2.x由mapreduce、yarn、hdfs、common组成，增加的yarn负责资源的调度，mapreduce只负责运算。

HDFS架构

HDFS统称为Hadoop Distributed file system。这里借用尚硅谷的资料进行说明：
1）NameNode：存储文件的元数据。如文件名，文件的目录结构，文件的属性。就像周星驰看的这本武功秘籍的目录一样
在这里插入图片描述2）DataNode：在本地文件系统存储文件快数据，以及块数据的校验和。
在这里插入图片描述
3）secondary Namenode（2nn）：用来监控hdfs状态的辅助后台程序，每隔一段时间获取hdfs元数据的快照

Yarn架构

1）ResourceManager，简称rm
职责为：
1.处理客户端的请求
2.监控NodeManager
3.启动或者监控ApplicationMaster
4.资源的分配与调度
2）NodeManager（NM）
1.管理节点上的资源
2.处理来自ResourceManager的命令
3.处理来自ApplicationMaster的命令
3）ApplicationMaster（AM）
1.负责数据的切分
2.为应用程序申请资源并分配给内部的任务
3.任务的监控与容错
4）Container
Contianer是Yarn中资源的抽象，它封装了某个节点上的多维度资源，如内存、Cpu、磁盘

MapReduce架构概述

mapreduce将计算过程分为map和reduce两个阶段
map阶段并行处理输入数据
reduce阶段对map结果汇总

hadoop安装

材料准备

虚拟机x3，内存4g，处理器4
在/opt目录下面新建module和software文件夹
在这里插入图片描述
将三台主机修改主机名称为node1，node2，node3
hostnamectl set-hostname nodeXXX
然后登出，重新登入。会发现显示出我们修改的名称了。
在这里插入图片描述

停止防火墙

[root@localhost ~]#systemctl stop firewalld
#禁止防火墙随着系统启动而启动
[root@localhost ~]#systemctl disable firewalld
#查看防火墙状态
[root@localhost ~]#systemctl status firewalld

禁用selinux

#将SELINUX的值设置为disabled
[root@localhost ~]# vi /etc/selinux/config
#查看是否设置完成
[root@localhost ~]# cat /etc/selinux/config

免密

首先配置host，三台机器都一样
vi /etc/hosts

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1     localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.200.11 node1
192.168.200.12 node2
192.168.200.13 node3

我们创建bear用户，密码设置为bear
[root@node1 module]#useradd beqr
[root@node1 module]# passwd bear
然后配置使其具有root权限
vi /etc/sudoers
[root@localhost opt]# chmod 777 /etc/sudoers

在root下面添加一行
root ALL=（ALL） ALL
bear ALL=（ALL） ALL
wq退出后权限改为400[root@localhost opt]# chmod 400 /etc/sudoers
[
先在root用户做这个操作，然后再在bear用户下做这个操作

ssh-keygen -t rsa
然后统一做三个机子的免密，要注意自己也要给自己免密

ssh-copy-id -i node1
ssh-copy-id -i node2
ssh-copy-id -i node3

在这里插入图片描述
用ssh node1，ssh node2，ssh node3分别尝试，如果可以免密登陆那就ok了
在这里插入图片描述
然后我们用bear也做到到这样
要特别注意，安装hadoop的时候，无论是jdk还是hadoop，都在bear用户下面执行，我下面的截图很多都是在root下面的，其实是之前做其他笔记用的，命令是一样的（加sudo）

安装jdk

在opt下新建module和software两个目录,在opt目录下使用这个命令
sudo chown bear software/ module/
将所有者给到bear用户

在opt/software下面传入包
在这里插入图片描述
解压
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
然后在/etc/profile中
配置环境变量
使用 vi /etc/rpofile命令，然后一个大写的G直接到文件结尾加入下面两句。
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
接着source /etc/profile让其生效
使用java命令查看，如下图，这样我们就成功安装了jdk。
在这里插入图片描述
其他两台机同样安装jdk。

安装Hadoop

解压

在/opt/software上上传hadoop
在这里插入图片描述
然后解压

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
在/etc/profile上加上这4句
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

配置

/opt/module/hadoop-2.7.2/etc/hadoop
目录下

配置核心文件core-site

fs.defaultFS hdfs://node1:9000 hadoop.tmp.dir /opt/module/hadoop-2.7.2/data/tmp

配置HDFS

一般地，配置-env的都是配个java路径
配置 hadoop-env.sh
bear]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置 hdfs-site.xml
bear]$ vi hdfs-site.xml

在该文件中编写如下配置
<configuration>
   <property>
   <name>dfs.replication</name>
   <value>3</value>
   </property>
   <!-- 指定 Hadoop 辅助名称节点主机配置 -->
   <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node3:50090</value>
   </property>
</configuration>

配置YARN

配置 yarn-env.sh
$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置 yarn-site.xml
$ vi yarn-site.xml
在该文件中增加如下配置

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- Reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node2</value>
</property>
</configuration>

配置MapReduce

配置 mapred-env.sh
[atguigu@hadoop102 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置 mapred-site.xml（如果只有template文件把该文件复制一份重命名mapred-site.xml）
[atguigu@hadoop102 hadoop]$ cp mapred-site.xml.template
mapred-site.xml
[atguigu@hadoop102 hadoop]$ vi mapred-site.xml
在该文件中增加如下配置

<!-- 指定 MR 运行在 Yarn 上 -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

配置slaves

/opt/module/hadoop-2.7.2/etc/hadoop/slaves
里面内容改为

node1
node2
node3

(把原来那个localhost删除)

启动

集群第一次启动要格式化NameNode
hadoop namenode -format

在node1启动
sbin/start-dfs.sh
这时候的node1
在这里插入图片描述
node2
在这里插入图片描述
node3
在这里插入图片描述
查看node1
http://192.168.200.11:50070/dfshealth.html#tab-overview
在这里插入图片描述

在node2上启动yarn
sbin/start-yarn.sh
Web 端查看 SecondaryNameNode
浏览器中输入：http://node3:50090/status.html
在这里插入图片描述

附赠：杀掉所有的java进程
ps -ef | grep java | grep -v grep | awk ‘{print $2}’ | xargs kill -9

测试

#1.查看一下，由于刚搭建集群，啥都没有
[bear@node1 hadoop-2.7.2]$ hdfs dfs -ls /
#2.建立一个test文件夹
[bear@node1 hadoop-2.7.2]$ hdfs dfs -mkdir /test
#3.再看看，这时候有了
[bear@node1 hadoop-2.7.2]$ hdfs dfs -ls /
Found 1 items
drwxr-xr-x - bear supergroup 0 2020-07-27 21:53 /test
#4.就地取材，把NOTICE.txt上传上去
[bear@node1 hadoop-2.7.2]$ ls
bin databak include libexec logs NOTICE.txt sbin
data etc lib LICENSE.txt logsbak README.txt share
[bear@node1 hadoop-2.7.2]$ hdfs dfs -put NOTICE.txt /test
[bear@node1 hadoop-2.7.2]$ hdfs dfs -ls /test
Found 1 items
-rw-r–r-- 3 bear supergroup 101 2020-07-27 21:54 /test/NOTICE.txt
#5.试一下wordcount这个经典的
[bear@node1 hadoop-2.7.2]$ cd share/hadoop/mapreduce/
[bear@node1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /test/NOTICE.txt /test/output
20/07/27 21:58:31 INFO client.RMProxy: Connecting to ResourceManager at node2/192.168.200.12:8032
20/07/27 21:58:33 INFO input.FileInputFormat: Total input paths to process : 1
20/07/27 21:58:33 INFO mapreduce.JobSubmitter: number of splits:1
20/07/27 21:58:33 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1595857554264_0001
20/07/27 21:58:34 INFO impl.YarnClientImpl: Submitted application application_1595857554264_0001
20/07/27 21:58:34 INFO mapreduce.Job: The url to track the job: http://node2:8088/proxy/application_1595857554264_0001/
20/07/27 21:58:34 INFO mapreduce.Job: Running job: job_1595857554264_0001
20/07/27 21:58:45 INFO mapreduce.Job: Job job_1595857554264_0001 running in uber mode : false
20/07/27 21:58:45 INFO mapreduce.Job: map 0% reduce 0%
20/07/27 21:58:52 INFO mapreduce.Job: map 100% reduce 0%
20/07/27 21:58:58 INFO mapreduce.Job: map 100% reduce 100%
20/07/27 21:58:59 INFO mapreduce.Job: Job job_1595857554264_0001 completed successfully
20/07/27 21:58:59 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=173
FILE: Number of bytes written=235197
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=199
HDFS: Number of bytes written=123
HDFS: Number of read operations=6
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Launched map tasks=1
Launched reduce tasks=1
Data-local map tasks=1
Total time spent by all maps in occupied slots (ms)=4376
Total time spent by all reduces in occupied slots (ms)=3587
Total time spent by all map tasks (ms)=4376
Total time spent by all reduce tasks (ms)=3587
Total vcore-milliseconds taken by all map tasks=4376
Total vcore-milliseconds taken by all reduce tasks=3587
Total megabyte-milliseconds taken by all map tasks=4481024
Total megabyte-milliseconds taken by all reduce tasks=3673088
Map-Reduce Framework
Map input records=2
Map output records=11
Map output bytes=145
Map output materialized bytes=173
Input split bytes=98
Combine input records=11
Combine output records=11
Reduce input groups=11
Reduce shuffle bytes=173
Reduce input records=11
Reduce output records=11
Spilled Records=22
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=383
CPU time spent (ms)=2520
Physical memory (bytes) snapshot=431595520
Virtual memory (bytes) snapshot=4219613184
Total committed heap usage (bytes)=296222720
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=101
File Output Format Counters
Bytes Written=123

然后看看输出
[bear@node1 mapreduce]$ hdfs dfs -ls /test/output
Found 2 items
-rw-r–r-- 3 bear supergroup 0 2020-07-27 21:58 /test/output/_SUCCESS
-rw-r–r-- 3 bear supergroup 123 2020-07-27 21:58 /test/output/part-r-00000

[bear@node1 mapreduce]$ hdfs dfs -text /test/output/part-r-00000
(http://www.apache.org/). 1
Apache 1
Foundation 1
Software 1
The 1
This 1
by 1
developed 1
includes 1
product 1
software 1
这样我们的hadoop集群搭建完了

wu大熊
关注
专栏目录
尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
upward
03-22 2641
尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
Hadoop简介
weixin_46192593的博客
06-25 448
大数据相关博客的目录 Hadoop 是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 主要解决，海量数据的存储和海量数据的分析计算问题。 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 Hadoop 发展历史 为了实现与Google类似的全文搜索功能，Hadoop创始人Doug Cutting在Lucene框架基础上进行优化升...
CreateFile, ReadFile详解
Phoenix_FuliMa
03-19 1万+
一、*****CreateFile*****     这个函数可以创建或打开一个对象的句柄，凭借此句柄就可以控制这些对象： 控制台对象、通信资源对象、目录对象(只能打开)、磁盘设备对象、文件对象、邮槽对象、管道对象。     函数原型： HANDLE CreateFile( LPCTSTRlpFileName,                        // file name对象路
MapReduce控制台打印释义
Rick的修仙路
10-12 1090
MapReduce控制台最后的打印释义如下File System Counters 组名 FILE: Number of bytes read=204404 读入的字节数，等于输入的文件 FILE: Number of bytes written=1154836 写了多少
Hadoop使用学习笔记（3）
热门推荐
hashcon
08-03 1万+
Hadoop使用学习笔记2. 基本Map-Reduce工作配置与原理（中）我们先用老版本的API编写，下一篇会用新的API，并解释区别： 环境配置： 提交Job，开发IDE所在机器环境：Windows 7，4C8G，IntelliJ IDEA 15. Hadoop集群环境：第一篇中已经提到，Linux环境的集群。由于我们是跨环境提交任务，所以源代码和配置上多了很多麻烦事。 首先，确认wind
HDFS易懂笔记
Mr_Yang888的博客
11-04 1万+
集群启动 在hadoop安装目录的sbin下执行 ./start-all.sh 正常启动集群 正常的关闭集群 哪个节点的服务出现异常，就到哪个节点的log下面找对应的日志 所有的启动信息（有异常或无异常），都包含在日志中 集群不要轻易的去格式化（格式化后集群的所有数据都被删除且无法恢复） 验证集群是否可用 jps 用于验证集群服务的启动情况 1、namenode所在节点的IP+50070端口 ...
hadoop-eclipse-plugin-2.7.0.jar
12-15
1. **项目创建与管理**：用户可以在Eclipse中直接创建Hadoop MapReduce项目，插件会自动生成必要的项目结构和模板代码，便于快速入门。 2. **资源管理**：插件允许用户浏览和管理HDFS（Hadoop Distributed File ...
hadoop-client:一组简单的 Hadoop 客户端库
07-13
【描述】：“hbase 客户端，HBase 的 .NET 客户端库，应用程序状态：让您入门，由社区创造，在许可下可用” 这篇描述提到了两个关键点，首先是“hadoop-client”，这是一个针对Hadoop生态系统开发的一组客户端库，...
hadoop-example:hadoop入门例子实践
05-17
hadoop入门例子实践 wordCount： MAP阶段：使用StringTokenizer 将一行String分离成不同的单词，输出, 例如 REDUCE阶段：<KEY> 例子如下<WORD>> 将VALUE的值进行相加，输出结果 remove duplication MAP阶段： MAP...
word源码java-hadoop-v1:hadoop入门
06-05
hadoop生态圈 spark生态圈 大数据概述 初识hadoop 分布式文件系统HDFS 分布式资源调度YARN 分布式计算框架MapReduce Hadoop项目实战 数据仓库Hive Hive项目实战 Hadoop分布式集群搭建 大数据概述 商品推荐 预言家 ...
Hadoop执行MapReduce作业的过程-案例-计算pi的值
星月情缘的博客
01-07 5283
           在安装好了Hadoop集群后，我们是不是马上想去实践一下，做个例子来测试它是否符合我们的要求呢。这样，我们使用系统的例子来测试，也就最常见的求PI 的值。           首先要启动好集群。hdfs 和yarn相关进程都启动，并且正常，才能执行mapreduce作业，因为执行作业需要调用资源，就必须启动yarn 服务。            以上是正常的。 我们就可...
Hadoop二
ssn520的博客
12-16 1609
hadoop2.x hdfs web界面端口号50070 hadoop3.x hdfs web界面：http://localhost:9870/ 服务若部署在阿里云Linux机器的话，在window上打开，http://本机外网IP:9870/ 9870端口号要在【安全组】开放 bin/hdfs dfs -mkdir /user 注：bin/hdfs dfs 中 /需要与/区别开 HDFS三个进程以localhost启动 bin/hdfs dfs -mkdir input ...
安装hadoop的步骤
joris30的博客
07-27 3420
1.到apache官网，下载hadoop，选择bin类型，tar.gz，大约300M 2.copy到/opt文件下，tar开，tar -zxvfhadoop-3.0.3.tar.gz 3.设置符号链接 ln -s hadoop-3.0.3 hadoop 4.设置环境变量 在/etc/profile下，添加： export HADOOP_HOME=/opt/hadoop ...
四、Hadoop安装
qq_53488289的博客
11-27 142
回到Downloads底下 解压Hadoop文件 回到/usr/local,改名 用vim ~/.bashrc配置环境变量 source一下 6.到hadoop子目录下编辑hadoop-env.sh文件 修改，如图所示 安装ssh 注意：如果出现无法安装，不要急，更新国内源，重启一下就好 补：更新国内源 1.到/etc/apt下用echo覆盖原文件，把国内源拷贝粘贴进去 2.更新 3.重启 8.重新安装ssh 9.生成密钥...
ORA-27063: number of bytes read/written is incorrect
minwang593的专栏
10-09 7161
Applies to: Oracle Database - Enterprise Edition - Version 8.1.6.0 to 11.2.0.0 [Release 8.1.6 to 11.2] Information in this document applies to any platform. ***Checked for relevance on 07-Oct-2011
Hadoop安装（伪分布式）
weixin_53788274的博客
03-13 1139
三台虚拟机互信 创建3台虚拟机，例如IP地址分别为192.168.236.8,192.168.236.9,192.168.236.10 分别更改各自的hostname，拿192.168.236.100（老师的虚拟机）为例， 输入hostname，查看自己的hostname，一般是自己的外网地址；输入hostnamectl set-hostname hadoop100，将hostname改成hadoop100 3. 将其它虚拟机和自己的hostname添加到hosts文件里（每台虚拟机都要做）；输入vi
java.io.FileInputStream.read(byte[] b, int off, int len)方法实例
dodod2012的专栏
06-21 4658
原文地址：https://www.yiibai.com/java/io/fileinputstream_read_byte_len.htmljava.io.FileInputStream.read(byte[] b, int off, int len) 读取从此输入流中的数据len个字节到字节数组，开始在目标数组b的偏移。声明以下是方法java.io.FileInputStream.read(by...
oracle datadg au,ORA-27063: number of bytes read/written is incorrect（Au Read fail问题）
weixin_39810441的博客
04-03 242
SQL> select file# from v$datafile where name like '%users.278%';FILE#----------14SQL> col SEGMENT_NAME for a40SQL> col owner for a30SQL> set lines 200 pages 100SQL> select owner, segmen...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值