hadoop下载地址与配置hadoop3.0集群

最新推荐文章于 2024-09-21 21:27:42 发布
最新推荐文章于 2024-09-21 21:27:42 发布
阅读量4.2k 收藏 6
点赞数 3
分类专栏： Linux运维知识

hadoop版本下载访问地址：http://mirrors.hust.edu.cn/apache/hadoop/common


搭建hadoop集群访问地址：https://blog.csdn.net/qq_32808045/article/details/76229157



1.准备(搭建集群所用到的软件及系统前期配置)：

  1. 虚拟机 : VMware
  2. linux：CentOS 6.5 .vmx
  3. sun公司的 jdk : jdk1.8.0_131
  4. ssh : 安装ssh，并设置免密
  5. hadoop : hadoop-3.0.0-alpha4

把CentOS进行克隆，克隆出两个，这样我们就有三台Linux了。 
分别命名为： 
master 
node1 
node2

在root用户下运行,对主机名进行修改 :

hostname    // 查看当前系统主机名
vi /etc/sysconfig/network    // 进入文件
  • 1
  • 2

Exler 
HSOTNAME的属性赋值为想要修改的主机名 master 
Exler

reboot    // 重启 即可完成更改
  • 1

其他两台主机分别命名为 node1，node2。

对三台主机进行地址映射 :

ifconfig    // 获取主机ip地址，为了完成映射
vi /etc/hosts    // 打开
  • 1
  • 2

添加地址映射 : 
Exler 
这样我们就不用每次都敲ip了，直接主机名称就可以了。(当然另外两台都需要进行相同的配置)

2. ssh免密的配置

rpm –qa | grep ssh    // 验证ssh是否安装
yum install ssh -y    // 若无信息列出即未安装，则进行安装
  • 1
  • 2

Exler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    // 在~/.ssh/下生成公钥/私钥对   -P '' 密码为空
  • 1

Exler 
(randomart image看着也是挺有趣的。。。)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys    // 把公钥添加到authorzied_keys文件里
chmod 0600 ~/.ssh/authorized_keys    // 修改authorized_keys的权限
ssh localhost    // 验证ssh是否可以访问
  • 1
  • 2
  • 3

验证ssh访问是否正常: 
Exler

把另外两台机器也配好了之后，就可以做三台机器之间的联通了 :

scp id_rsa.pub node1:~/.ssh/master_rsa.pub   // 把master公钥发给node1
  • 1

Exler

再转到node1上执行 :

cat ~/.ssh/master_rsa.pub >> ~/.ssh/authorized_keys    //把收到的公钥添加到文件中去
  • 1

node2 进行相同的步骤。(master的know_host文件中已经存在如节点node1的信息，以后连接都是免密的)。 
就是三台虚拟机都相互把各自的公钥都发一遍，这样在每一台机器的~/.ssh/know_host文件里面都有其他节点的ssh信息。并把收到的公钥添加到authorized_keys文件下，这样下一次就可以免密登录了。

第一次访问时会出现询问 
Exler 
确定就好,之后都是秒连的。

遇到的问题： 
1. ssh: connect to host node1 port 22: Connection timed out 
检查/etc/hosts文件中的映射 地址->主机名 是否有错 
2. Host key verification failed. 
当询问 “…..(yes/no)?”时直接敲了个回车。 应敲yes

jdk的安装

  1. 下载 
    可以直接访问官网下载符合自己机器的jdk。 
    注意：需选中 Accept License Agreement
  2. 解压 

    tar zxvf jdk-8u131-linux-x64.tar.gz // 解压jdk压缩包 
  3. 配置环境变量
vi /etc/profile    // 配置环境变量
  • 1

在空白处添加解压后jdk所在的路径 :

export JAVA_HOME=/opt/softwares/jdk1.8.0_131    
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$PATH
  • 1
  • 2
  • 3
source /etc/profile    // 使环境变量生效
  • 1

验证jdk是否安装完成 :

 java -version    // 会出现jdk版本信息
  • 1

Exler

可利用scp命令发送jdk到其余虚拟机中然后更改/etc/profile

或是重复相同操作

hadoop的安装和配置

1.下载 
访问hadoop官网下载。 
2.解压

tar zxvf hadoop-3.0.0-alpha4.tar.gz
  • 1

3.为了方便可以配置一下环境变量

vi /etc/profile
  • 1
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
  • 1
  • 2
source /etc/profile    // 使环境变量生效
  • 1

验证安装 :

hadoop version
  • 1

Exler
4.配置文件 
在hadoop文件加下:

cd etc/hadoop/    //  此目录下含有hadoop的配置件
  • 1

Exler

需要配置的文件有 : 
hadoop-env.sh 
core-site.xml 
hdfs-site.xml 
mapred-site.xml 
yarn-site.xml 
workers 
(单节点及伪分布式可查看官网)

vi hadoop-env.sh
  • 1
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/softwares/jdk1.8.0_131
  • 1
  • 2
  • 3

因为hadoop是在JVM上运行的所以要在其配置文件中指定jdk的path

vi core-site.xml
  • 1
<configuration>
  <property>
    <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>

  <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

第一个fs.defaultFS是指定hdfs的URI 
第二个hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这个路径中

vi hdfs-site.xml
  • 1
<configuration>
 <property>
   <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/local/hadoop/hdfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/usr/local/hadoop/hdfs/data</value>
 </property>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node1:9001</value>
 </property>
  <property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
  </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

dfs.replication 副本个数，默认是3 
dfs.namenode.secondary.http-address 为了保证整个集群的可靠性secondarnamenode配置在其他机器比较好 
dfs.http.address 进入hadoop web UI的端口

vi mapred-site.xml
  • 1
<configuration>
  <property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
  </property>
  <property>
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
  </property>
  <property>
    <name>mapred.task.tracker.http.address</name>
    <value>0.0.0.0:50060</value>
  </property>

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
   <name>mapreduce.application.classpath</name>
   <value>
     /usr/local/hadoop/etc/hadoop,
     /usr/local/hadoop/share/hadoop/common/*,
     /local/hadoop/share/hadoop/common/lib/*,
     /usr/local/hadoop/share/hadoop/hdfs/*,
     /usr/local/hadoop/share/hadoop/hdfs/lib/*,
     /usr/local/hadoop/share/hadoop/mapreduce/*,
    /usr/local/hadoop/share/hadoop/mapreduce/lib/*,
     /usr/local/hadoop/share/hadoop/yarn/*,
     /usr/local/hadoop/share/hadoop/yarn/lib/*
 </value>
</property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40

mapreduce框架的参数 
最后一个是hadoop jar包的路径

vi yarn-site.xml
  • 1
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>         <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8099</value>
</property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 
yarn 的webUI端口是8099

vi workers    // datanode节点设置
  • 1
node1
node2
  • 1
  • 2

Exler

5.发送到其余虚拟机中或是重复相同操作

启动hadoop

hdfs namenode -format    // 首次启动格式化namenode
start-all.sh    // 启动hadoop集群
jps    // 查看JVM运行的程序
  • 1
  • 2
  • 3

Exler 
Exler 
Exler

遇到的问题 :

Exler 
在hadoop/sbin/ 
vi start-dfs.sh 
vi stop-dfs.sh 
添加 
HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

当报错YARN_RESOURCEMANAGER_USER时 
vi start-yarn.sh 
vi stop-yarn.sh 
添加 
YARN_RESOURCEMANAGER_USER=root 
HADOOP_SECURE_DN_USER=yarn 
YARN_NODEMANAGER_USER=root

50070端口配置文件中设置了，却还是不能访问

vi /etc/selinux/config

修改

#This file controls the state of SELinux on the system.
#SELINUX= can take one of these three values:
#enforcing - SELinux security policy is enforced.
#permissive - SELinux prints warnings instead of enforcing.
#disabled - No SELinux policy is loaded.
SELINUX=enforcing
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

SELINUX的属性改为disabled

namenode启动了datanode没有启动(多次格式化namenode造成的)

在master的hadoop路径下 :

vi hdfs/name/current/VERSION
  • 1

拷贝clusterID 
datanode的hadoop路径下 :

vi hdfs/data/current/VERSION
  • 1

替换掉datanode的clusterID 
开启不需要format了


wuapeng
关注
专栏目录
《Hadoop》之"踽踽独行"（四）CentOS 6.5搭建hadoop2.7.3集群环境
从明老师的博客
06-28 2873
在VMware虚拟软件中，我们要如何模拟hadoop集群搭建呢？我来整理一下思路，希望对大家有所帮助！！ 1.        安装centos6.5主机 2.        关闭防火墙和selinux 3.        配置网络 4.        时间同步 5.        ssh无密码登录设置 6.        安装jdk 7.        安装hadoop 8.        启...
Hadoop 3.0全分布式集群搭建
jiabinzhang4310的专栏
09-02 292
1. 安装jdk，配置环境变量 安装jdk后，vim /etc/profile ，添加java的环境变量，source /etc/profile生效， 我的环境是CentOS 7 + openjdk-1.8.0，用yum 安装openjdk的时候要注意一个问题，不要忘记openjdk-devel， 要不然没有javac、jps这些命令。 yum安装openjdk的命令如下所示 yum ...
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
CentOS 6.5下hadoop3.0集群搭建
Exler_yz的博客
07-28 2482
本文采用虚拟机的方式来对hadoop集群进行搭建。 虚拟机 : VMware linux：CentOS 6.5 .vmx 64位 sun公司的 jdk : jdk1.8.0_131 ssh : 安装ssh，并设置免密 hadoop : hadoop-3.0.0-alpha4
Hadoop的安装
最新发布
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
09-21 869
由于Hadoop不直接支持Windows系统，因此，需要修改一些配置才能运行。进到目录：E:\hadoop-3.4.0\etc\hadoop。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。PS：此文件中已有标签，可以直接覆盖掉。修改：mapred-site.xml。修改：hadoop-env.cmd。修改：hdfs-site.xml。修改：yarn-site.xml。修改：core-sit.xml。
Hadoop3.0集群配置
沛哥儿的专栏
01-23 5356
前言 本文主要是讲述如何在上千节点下的大规模集群的安装和配置。如果你只是想尝hadoop。你可以在单台机器上进行安装。（查看单例安装） 本文不涉及安全或高可用等方面的主题。 先决条件 安装Java。想获java取匹配的hadoop版本详情查看Hadoop Wiki 。从Apache的hadoop镜像上下载稳定的版本。 安装 Hadoop集群典型安装方式包括在所有的集群机
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
本资源摘要信息主要介绍了 Hadoop 3.0 分布式集群搭建的详细步骤和要求，从搭建前的准备工作到集群的安装和配置，涵盖了主机规划、软件规划、用户规划、数据目录规划、环境检查、时钟同步、hosts 文件检查、防火墙...
hadoop.dll winutils.exe hadoop2.6,2.7,2.8,3.0版本
12-26
在Hadoop 2.6、2.7、2.8和3.0这四个版本中，`winutils.exe`的实现可能根据版本特性有所不同，例如优化性能、增强安全性或者增加新的管理选项。使用正确版本的`winutils.exe`对于Hadoop集群的稳定运行至关重要。 在...
hadoop集群搭建和配置
m0_53876797的博客
05-20 2024
hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）
Hadoop3.0集群环境安装
01-28
Hadoop3.0集群环境安装
Hadoop 1.0 到 Hadoop 3.0版本功能概述
sunlei1980的专栏
11-22 2383
2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年2月被分离出来，成为一套完整独立的软件，起名为HadoopHadoop名字不是一个缩写，而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛.
最新Apache Hadoop-3.0.0 百度云下载
03-21
Apache Hadoop 3.0.0与以前的主要发布版本（hadoop-2.x）相比，具有许多重要的增强功能。
hadoop-3.0.0.rar
05-13
hadoop-3.0.0在windows上运行需要winutils支持和hadoop.dll等文件
hadoop-3.0.0.tar.gz
02-24
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。[2]
hadoop3.0.0-windows-bin.zip
11-11
包含winutils 注意版本 已经成功运行 之后配置环境变量 解决 Hadoop报错：Failed to locate the winutils binary in the hadoop binary path
hadoop-bin winutils 3.0.0，x64版本
12-28
此版本是Hadoop-3.0.0的winutils工具，直接将bin中文件覆盖即可在win下使用hadoop，此版本是在64位系统编译，win10、8、7皆可以使用，欢迎下载
基于CENTOS6.5搭建Hadoop集群
liangyingyi1006的博客
10-03 880
一、安装虚拟机二、环境nat配置Nat设置：查看得到192.168.201.2su命令，打开以下文件，删除其他行以得到下图：添加以下行：对slave1和slave2也做同样操作：三、配置JDK环境共享目录share到Linux系统（/mnt/hgfs/share）配置文件修改：修改~/.bashrc文件配置slave1和slave2：四、开始安装hadooptmp文件存放临时文件：vim mast...
CentOS6.5搭建hadoop完全分布式集群
长安一片月的博客
05-29 1430
搭建完全分布式集群-------------------------------前提条件：已经按照之前的步骤搭建完伪分布式。https://blog.csdn.net/weixin_42006411/article/details/80500217搭建hadoop伪分布式链接：点击打开链接方法：克隆虚拟机。  1.修改静态ip    a.删除之前的mac地址，记录现在的mac地址，并修改name为...
CentOS 6.5 搭建Hadoop2.6完全分布式集群
philadelphiazt的专栏
01-04 2273
Environment：OS： CentOS 6.5 x64 Hadoop Version： 2.6.0 Host：172.22.35.167 Master 172.22.35.159 Slave1 172.22.35.158 Slave2 172.22.35.147 Slave3 172.22.35.160 Second搭建过程如下： Step 1：在所有主机上新
Hadoop3.0分布式集群性能测试与分析
此外，虽然这部分内容超出了指定的标签和描述，但文章也提及了Hadoop的演进历程，从Hadoop1.0到Hadoop3.0，尤其是3.0版本引入的改进，使得在存储和计算性能上有了显著提升。这为实际应用中的性能优化提供了理论基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值