大数据再出发-03hadoop入门

潘小磊

已于 2022-05-13 15:44:04 修改

阅读量281

点赞数

分类专栏：大数据系列文章标签： big data hadoop mapreduce

于 2022-05-13 10:27:10 首次发布

本文链接：https://blog.csdn.net/weixin_43850384/article/details/124744569

版权

大数据系列专栏收录该内容

28 篇文章 1 订阅

订阅专栏

本文详细记录了大数据技术基石Hadoop的入门知识，包括Hadoop框架介绍、安装配置、运行模式（本地、分布式）和常见问题解决方案。通过搭建分布式集群，学习者能深入了解Hadoop在海量数据处理中的关键作用。

摘要由CSDN通过智能技术生成

有一天心血来潮突然有个大胆的想法，就是将我平时所学的技术记录成文档，这些文档可能网上一搜一大把，但毕竟和自己总结摘录的还是不太一样，不求文章能有人看，就当给自己做个备忘录吧，上面两节介绍了做大数据的基本环境配置，今天正式介绍一下大数据技术的基石-Hadoop

第1章大数据概论

1.1 大数据概念

据百度百科介绍：
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
在这里插入图片描述

1.2 大数据特点

大数据的特点可以归总为4V即：Volume（大量）、Velocity(高速)、Variety(多样)、Value(低价值密度)
看着挺厉害的，不过就我理解，就是数据量大，而且好多数据单独来看没什么用，需要加工处理

第2章从Hadoop框架讨论大数据生态

2.1 Hadoop是什么

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2）主要解决，海量数据的存储和海量数据的分析计算问题。
3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
在这里插入图片描述

2.2 Hadoop发展历史

1）Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。

2）2001年年底Lucene成为Apache基金会的一个子项目。

3）对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难，检索速度慢。

4）学习和模仿Google解决这些问题的办法：微型版Nutch。

5）可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)

GFS —>HDFS

Map-Reduce —>MR

BigTable —> HBase

6）2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。

7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。

8）2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分别被纳入到 Hadoop 项目中，Hadoop就此正式诞生，标志着大数据时代来临。

9）名字来源于Doug Cutting儿子的玩具大象。
代码如下（示例）：

2.3 Hadoop三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。
Apache版本最原始（最基础）的版本，对于入门学习最好。
Cloudera内部集成了很多大数据框架。对应产品CDH。
Hortonworks文档较好。对应产品HDP。

1）Apache Hadoop
官网地址：http://hadoop.apache.org/releases.html
下载地址：https://archive.apache.org/dist/hadoop/common/
2）Cloudera Hadoop
官网地址：https://www.cloudera.com/downloads/cdh/5-10-0.html
下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。
（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support
（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。
（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。
3）Hortonworks Hadoop
官网地址：https://hortonworks.com/products/data-center/hdp/
下载地址：https://hortonworks.com/downloads/#data-platform
（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。
（3）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。
（4）Hortonworks目前已经被Cloudera公司收购。

2.4 Hadoop的优势

1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4）高容错性：能够自动将失败的任务重新分配。

2.5 Hadoop组成

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。后面的文章会对起组成在做深入介绍，暂且了解即可

第3章 Hadoop运行环境搭建

在上面两节我们已经配置好了三台虚拟机，接下来就开始愉快的玩耍吧

3.1 在hadoop101安装JDK

文章中提到的所有安装包都在此链接：
https://pan.baidu.com/s/1frlvq4XWwvIWU4461XUkrQ?pwd=yyds

1）卸载现有JDK

[careate@hadoop101 ~]$ rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

2）用XFTP工具将JDK导入到opt目录下面的software文件夹下面
3）解压JDK到/opt/module目录下

[careate@hadoop101 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

4）配置JDK环境变量
（1）新建/etc/profile.d/my_env.sh文件

[careate@hadoop101 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH= $P A T H :$ JAVA_HOME/bin

（2）保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

[careate@hadoop101 ~]$ source /etc/profile

8）测试JDK是否安装成功

[careate@hadoop101 ~]$ java -version
java version “1.8.0_212”

3.2 在hadoop101安装Hadoop

1）用XFTP工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面
在这里插入图片描述

2）解压安装文件到/opt/module下面

[careate@hadoop101 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3）将Hadoop添加到环境变量
（1）获取Hadoop安装路径

[careate@hadoop101 hadoop-3.1.3]$ pwd
/opt/module/hadoop

（2）打开/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH= $P A T H :$ HADOOP_HOME/bin
export PATH= $P A T H :$ HADOOP_HOME/sbin

（3）保存后退出

:wq

（4）让修改后的文件生效

[careate@hadoop101 hadoop-3.1.3]$ source /etc/profile

6）测试是否安装成功

[careate@hadoop101 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

3.3 Hadoop目录结构

1）查看Hadoop目录结构

[careate@hadoop101 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 careate careate 4096 5月 22 2017 bin
drwxr-xr-x. 3 careate careate 4096 5月 22 2017 etc
drwxr-xr-x. 2 careate careate 4096 5月 22 2017 include
drwxr-xr-x. 3 careate careate 4096 5月 22 2017 lib
drwxr-xr-x. 2 careate careate 4096 5月 22 2017 libexec
-rw-r–r–. 1 careate careate 15429 5月 22 2017 LICENSE.txt
-rw-r–r–. 1 careate careate 101 5月 22 2017 NOTICE.txt
-rw-r–r–. 1 careate careate 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 careate careate 4096 5月 22 2017 sbin
drwxr-xr-x. 4 careate careate 4096 5月 22 2017 share

2）重要目录
（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

第4章 Hadoop运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Hadoop官方网站：http://hadoop.apache.org/

4.1 本地运行模式（官方wordcount）

1）创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

[careate@hadoop101 hadoop-3.1.3]$ mkdir wcinput

2）在wcinput文件下创建一个word.txt文件

[careate@hadoop101 hadoop-3.1.3]$ cd wcinput

3）编辑word.txt文件

[careate@hadoop101 wcinput]$ vim word.txt

在文件中输入如下内容

hadoop yarn
hadoop mapreduce
careate
careate

保存退出：：wq
4）回到Hadoop目录/opt/module/hadoop
5）执行程序

[careate@hadoop101 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6）查看结果

[careate@hadoop101 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果：

careate 2
hadoop 2
mapreduce 1
yarn 1

4.2 完全分布式运行模式

4.2.1 SSH无密登录配置

1）配置ssh
（1）基本语法
ssh另一台电脑的ip地址
（2）ssh连接时出现Host key verification failed的解决方法

[careate@hadoop101 ~]$ ssh hadoop102

出现：
The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.
RSA key fingerprint is cf:1e🇩🇪d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
（3）解决方案如下：直接输入yes
配置免密
（2）生成公钥和私钥：

[careate@hadoop101 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上

[careate@hadoop101 .ssh]$ ssh-copy-id hadoop101
[careate@hadoop101 .ssh]$ ssh-copy-id hadoop102
[careate@hadoop101 .ssh]$ ssh-copy-id hadoop103

注意：还需要在hadoop102上采用careate账号配置一下无密登录到hadoop101、hadoop102、hadoop103服务器上。还需要在hadoop103上采用careate账号配置一下无密登录到hadoop101、hadoop102、hadoop103服务器上。还需要在hadoop101上采用root账号，配置一下无密登录到hadoop101、hadoop102、hadoop103；

4.2.2 集群配置

1）集群部署规划
注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

dsf	hadoop101	hadoop102	hadoop103
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2）配置集群
（1）核心配置文件
配置core-site.xml

[careate@hadoop101 ~]$ cd $HADOOP_HOME/etc/hadoop
[careate@hadoop101 hadoop] vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9820</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为careate -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>careate</value>
</property>

<!-- 配置该careate(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.careate.hosts</name>
        <value>*</value>
</property>
<!-- 配置该careate(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.careate.groups</name>
        <value>*</value>
</property>
<!-- 配置该careate(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.careate.groups</name>
        <value>*</value>
</property>
</configuration>

（2）HDFS配置文件
配置hdfs-site.xml

[careate@hadoop101 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop103:9868</value>
    </property>
</configuration>

（3）YARN配置文件
配置yarn-site.xml

[careate@hadoop101 hadoop]$ vim yarn-site.xml
文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop102</value>
</property>
<!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop101:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

（4）MapReduce配置文件
配置mapred-site.xml

[careate@hadoop101 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>
</configuration>

1）配置workers

careate@hadoop101 hadoop]$ vim /opt/module/hadoop/etc/hadoop/workers
在该文件中增加如下内容：

hadoop101
hadoop102
hadoop103

4.2.3 编写集群分发脚本xsync

（a）在/home/careate/bin目录下创建xsync文件

[careate@hadoop101 opt]$ cd /home/careate
[careate@hadoop101 ~]$ mkdir bin
[careate@hadoop101 ~]$ cd bin
[careate@hadoop101 bin]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop101 hadoop102 hadoop103
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4. 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

（b）修改脚本 xsync 具有执行权限

[careate@hadoop101 bin]$ chmod +x xsync

（c）将脚本复制到/bin中，以便全局调用

[careate@hadoop101 bin]$ sudo cp xsync /bin/

（d）测试脚本

[careate@hadoop101 ~]$ xsync /home/careate/bin
[careate@hadoop101 bin]$ sudo xsync /bin/xsync

4.2.4 群起集群

1)同步所有节点jdk、hadoop、环境变量文件

[careate@hadoop101 hadoop]$ xsync /opt/module/
xsync /etc/profile.d/my_env.sh

三台节点都执行

source /etc/profile

2）启动集群
（1）如果集群是第一次启动，需要在hadoop101节点格式化NameNode（注意格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[careate@hadoop101 ~]$ hdfs namenode -format

（2）启动HDFS

[careate@hadoop101 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（hadoop102）启动YARN

[careate@hadoop102 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode
（a）浏览器中输入：http://hadoop101:9870
（b）查看HDFS上存储的数据信息
（5）Web端查看YARN的ResourceManager
（a）浏览器中输入：http://hadoop102:8088
（b）查看YARN上运行的Job信息
3）集群基本测试

3）集群基本测试
（1）上传文件到集群

[careate@hadoop101 ~]$ hadoop fs -mkdir /input
[careate@hadoop101 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

执行WordCount程序

[careate@hadoop101 ~]$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
7）查看日志

http://hadoop101:19888/jobhistory

4.2.5 编写hadoop集群常用脚本

1）查看三台服务器java进程脚本：jpsall

[careate@hadoop101 ~]$ cd /home/careate/bin
[careate@hadoop101 ~]$ vim jpsall

然后输入

#!/bin/bash
for host in hadoop101 hadoop102 hadoop103
do
        echo =============== $host ===============
        ssh $host jps $@ | grep -v Jps
done

保存后退出，然后赋予脚本执行权限

[careate@hadoop101 bin]$ chmod +x jpsall

2）hadoop集群启停脚本（包含hdfs，yarn，historyserver）：myhadoop.sh

[careate@hadoop101 ~]$ cd /home/careate/bin
[careate@hadoop101 ~]$ vim myhadoop.sh

然后输入

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop101 "/opt/module/hadoop/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop102 "/opt/module/hadoop/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop101 "/opt/module/hadoop/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

保存后退出，然后赋予脚本执行权限

[careate@hadoop101 bin]$ chmod +x myhadoop.sh

3）分发/home/careate/bin目录，保证自定义脚本在三台机器上都可以使用

[careate@hadoop101 ~]$ xsync /home/careate/bin/

第5章常见错误及解决方案

1）防火墙没关闭、或者没有启动YARN
INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
2）主机名称配置错误
3）IP地址配置错误
4）ssh没有配置好
5）root用户和careate两个用户启动集群不统一
6）配置文件修改不细心
7）未编译源码
Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
8）不识别主机名称

java.net.UnknownHostException: hadoop101: hadoop101
        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：
（1）在/etc/hosts文件中添加192.168.1.102 hadoop101
（2）主机名称不要起hadoop hadoop000等特殊名称
9）DataNode和NameNode进程同时只能工作一个。
0）执行命令不生效，粘贴word中命令时，遇到-和长–没区分开。导致命令失效
解决办法：尽量不要粘贴word中代码。
11）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。
12）jps不生效。
原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。
13）8088端口连接不上

[careate@hadoop101 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         hadoop101

总结

今天这篇文章主要是记录了一下hadoop入门的基础知识，以及搭建了一个完全分布式的集群，并编写一些常用的脚本

潘小磊

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
大数据再出发-03hadoop入门

大数据再出发的第三篇文章，主要记录了hadoop相关内容并搭建了分布式的集群，编写了一些常用脚本
复制链接

扫一扫

专栏目录

大数据再出发-03hadoop入门

文章目录

第1章 大数据概论

1.1 大数据概念

1.2 大数据特点

第2章 从Hadoop框架讨论大数据生态

2.1 Hadoop是什么

2.2 Hadoop发展历史

2.3 Hadoop三大发行版本

2.4 Hadoop的优势

2.5 Hadoop组成

第3章 Hadoop运行环境搭建

3.1 在hadoop101安装JDK

3.2 在hadoop101安装Hadoop

3.3 Hadoop目录结构

第4章 Hadoop运行模式

4.1 本地运行模式（官方wordcount）

4.2 完全分布式运行模式

4.2.1 SSH无密登录配置

4.2.2 集群配置

4.2.3 编写集群分发脚本xsync

4.2.4 群起集群

4.2.5 编写hadoop集群常用脚本

第5章 常见错误及解决方案

总结

第1章大数据概论

第2章从Hadoop框架讨论大数据生态

第5章常见错误及解决方案