大数据 - Hadoop安装

最新推荐文章于 2024-04-19 15:42:27 发布
最新推荐文章于 2024-04-19 15:42:27 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： 大数据 大数据 文章标签： 大数据 Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyhkmm/article/details/88037565
版权

完全分布式集群安装

       windows安装vmwave后准备一台安linux系统的虚拟机（之后要克隆两台，算好硬盘和内存），这里使用centos6.5。

192.168.189.130 hadoop1
192.168.189.131 hadoop2
192.168.189.132 hadoop3
关闭防火墙
[root@hadoop1 ~]# service iptables stop

       如果不关，后续需要将端口一个个加入防火墙规则。

关闭selinux
[root@hadoop1 ~]# vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled
修改主机名
[root@hadoop1 ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop1
[root@hadoop1 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.189.130 hadoop1
192.168.189.131 hadoop2
192.168.189.132 hadoop3
设置静态IP
[root@hadoop1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
ONBOOT=yes
IPADDR=192.168.189.130
NETMASK=255.255.255.0
DNS1=114.114.114.114
GATEWAY=192.168.189.2
NM_CONTROLLED=yes
BOOTPROTO=none
[root@hadoop1 ~]# service network restart

       这里的ip和网关要根据自己VMware虚拟网卡所在的网络设置，网关不对上不了外网。

配置jdk环境

       参考 https://blog.csdn.net/lyhkmm/article/details/79524712

配置用户权限

       新建hadoop用户（这里直接使用root也行，生产环境下通常会区分指定各个用户权限）。

[root@hadoop1 ~]# useradd hadoop
[root@hadoop1 ~]# passwd hadoop

       设置hadoop用户具有root权限 修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行。

[root@hadoop1 ~]# visudo
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL

       创建hadoop安装目录

[root@hadoop1 ~]# mdkir /app/hadoop/

       设置权限

[root@hadoop1 ~]# chown -R hadoop:hadoop /app/hadoop/
VMware克隆出两台

        克隆出的两台需要修改ip地址为：192.168.189.131 192.168.189.132 。修改主机名为hadoop2 hadoop3，修改方法参考上面的方法。如果克隆后的虚拟机重启网络失败把/etc/sysconfig/network-scripts/ifcfg-eth0的HWADDR和UUID删了。

设置SSH免密钥

        关于ssh免密码的设置，要求每两台主机之间设置免密码。分别在三台节点的hadoop用户下执行，执行完毕公钥在/home/hadoop/.ssh/id_rsa.pub。

[hadoop@hadoop1 ~]$ ssh-keygen -t rsa
[hadoop@hadoop1 ~]$ ssh-copy-id hadoop1
[hadoop@hadoop1 ~]$ ssh-copy-id hadoop2
[hadoop@hadoop1 ~]$ ssh-copy-id hadoop3

[hadoop@hadoop2 ~]$ ssh-keygen -t rsa
[hadoop@hadoop2 ~]$ ssh-copy-id hadoop1
[hadoop@hadoop2 ~]$ ssh-copy-id hadoop2
[hadoop@hadoop2 ~]$ ssh-copy-id hadoop3

[hadoop@hadoop3 ~]$ ssh-keygen -t rsa
[hadoop@hadoop3 ~]$ ssh-copy-id hadoop1
[hadoop@hadoop3 ~]$ ssh-copy-id hadoop2
[hadoop@hadoop3 ~]$ ssh-copy-id hadoop3
下载安装

        https://hadoop.apache.org/releases.html 下载完后通过远程连接工具上传的/tmp下
在这里插入图片描述

修改配置文件
[hadoop@hadoop1 ~]$ tar /tmp/zxvf hadoop-2.8.5.tar.gz -C /app/hadoop/
[hadoop@hadoop1 tmp]$ cd /app/hadoop/hadoop-2.8.5/etc/hadoop/
编辑core-site.xml
[hadoop@hadoop1 hadoop]$ vi core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop1:9000</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/app/hadoop/hadoop-2.8.5/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>*</value>
  </property>
</configuration>
编辑hadoop-env.sh
[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.8.0_191
[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml
<configuration>
  <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop1:9001</value>
  </property>
  <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/app/hadoop/hadoop-2.8.5/name</value>
  </property>
  <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/app/hadoop/hadoop-2.8.5/data</value>
  </property>
  <property>
   <name>dfs.replication</name>
   <value>2</value>
  </property>
  <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
  </property>
</configuration>
编辑mapred-site.xml
[hadoop@hadoop1 hadoop]$ vi mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
  </property>
</configuration>
编辑mapred-env.sh
[hadoop@hadoop1 hadoop]$ vi mapred-env.sh
添加
export JAVA_HOME=/usr/lib/java/jdk1.8.0_191
编辑yarn-site.xml
[hadoop@hadoop1 hadoop]$ vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop1:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop1:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop1:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop1:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop1:8088</value>
  </property>
</configuration>
编辑slaves
[hadoop@hadoop1 hadoop]$ vi slaves
hadoop1
hadoop2
hadoop3
复制hadoop到子节点
[hadoop@hadoop1 hadoop]$ scp -r /app/hadoop/hadoop-2.8.5 hadoop@hadoop2:/app/hadoop/
[hadoop@hadoop1 hadoop]$ scp -r /app/hadoop/hadoop-2.8.5 hadoop@hadoop3:/app/hadoop/
[hadoop@hadoop1 hadoop]$ sudo vi /etc/profile
export HADOOP_CONF_DIR=/app/hadoop/hadoop-2.8.5/etc/hadoop
export HADOOP_HOME=/app/hadoop/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@hadoop1 hadoop]$ source /etc/profile

       另外两台节点也要配置/etc/profile环境变量，可以直接scp过去

启动

       第一次启动，需要格式化namenode，以后就不用了。

[hadoop@hadoop1 hadoop]$ hdfs namenode -format

       可以一键启动，至于start-all.sh具体启动了什么可以查看脚本。

[hadoop@hadoop1 sbin]$ ./start-all.sh

       查看进程

[hadoop@hadoop1 sbin]$ jps
52608 ResourceManager
52929 Jps
52275 DataNode
52133 NameNode
52440 SecondaryNameNode
52715 NodeManager

       也可以只启动具体服务

[hadoop@hadoop1 sbin]$ ./start-dfs.sh
[hadoop@hadoop1 sbin]$ ./start-yarn.sh

       查看web ui http://hadoop1:50070/dfshealth.html windows的hosts文件上需要添加hadoop1的解析。

在这里插入图片描述

       一键停止，也可以指定停止和启动类似

[hadoop@hadoop1 sbin]$ ./stop-all.sh
高可用

       生产环境使用，和上面类似，需要使用Zookeeper注册中心，配置文件和启动命名有所不同。

蒙蒙的林先生
关注
专栏目录
大数据课程实验答案（林子雨）
05-04
林子雨所写的大数据课程实验书的答案，十分详细，代码以及过程十分清晰
大数据-HadoopLearning【程序员VIP专用】.zip
最新发布
09-03
【hadoop基础教程】 1.1、centos相关 VM虚拟机和Centos系统安装 linux常用命令讲解 shell脚本编写入门 1.2、maven相关 安装部署基础概念 依赖聚合与继承 搭建管理与应用 2、大数据教程 2.1、hdfs教程 内部结构与...
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS（林子雨教授，超级详细）
lmhnba的博客
09-27 2290
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ 超级详细 我一个连代码都看不懂的人，都能配置好集群
厦门大学林子雨老师大数据hadoop操作笔记
someby的博客
03-20 6394
按照老师的教程陪着好hadoop后1、启动hadoop                  start-dfs.sh 2.关闭hadoop                 stop-dfs.sh 3.运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可考虑在程序中加上如下代码，能在每次运行...
林子雨大数据软件安装和编程指南导航
lzq603的博客
09-02 466
为学习大数据相关知识，经常需要访问林子雨的相关教程。然而这些网页入口找起来特别麻烦。于是便有了这个导航 《大数据原理与应用》是入门级大数据精品课程，适合初学者，完备的课程在线服务体系，可以帮助初学者实现“零基础”学习大数据。下面是配套学习指南的链接 第二章 大数据处理架构Hadoop 学习指南 Hadoop安装教程-单机-伪分布式配置...
【hadoop安装配置向】：厦门大学林子雨老师博客
weixin_64218437的博客
04-19 680
本科课程内容要求 本文不介绍原理，操作向！# 默认已经完成虚拟机的安装和配置，作者自用ubuntu22版1.确保虚拟机内存足够大，否则出现大文件解压缩或者失误操作会造成虚拟机内存占用率达到100%，可能需要通过扩充磁盘或者重新下载配置虚拟机（重开）！2.在虚拟机内完成网页版微信登陆，用于大文件传输！3.如果有条件建议配置好虚拟机与主机的复制粘贴设置，以便后续使用（作者没有配置明白，所以不强求这点）4.将，方便随时打开运行。
厦门大学林子雨hadoop_推荐一个超详细的Hadoop安装教程，已有32万次阅读
weixin_36269385的博客
01-06 4119
安装Hadoop软件系列，首选Linux系统，比如Ubuntu。如果你的系统是Windows，建议再安装一个Ubuntu，组成双系统，如此可以发挥各自系统的特点。使用U盘制作一个系统，拿出一块分区用作新装的系统，开机启动安装，选择新腾出来的空间后分为4个分区，大概过程就是如此。这块网上教程较多，可以参考。2 教程来源这个Hadoop教程是厦门大学林子雨老师团队出品的，介绍的可以说是非常非常专业、细...
大数据开发--hadoop全套学习课程--百度网盘
03-23
在大数据领域，Hadoop是一个核心的开源框架，用于存储和处理海量数据。本"大数据开发--hadoop全套学习课程"涵盖了大数据技术的多个关键组成部分，包括Hadoop2.x及其生态系统中的其他工具，如Hive、HBase、Flume、...
#一文读懂大数据-Hadoop-大数据技术和相关应用.docx
11-11
本文将深入探讨Hadoop这一关键的大数据处理框架，以及大数据技术和相关应用的发展。 Hadoop是Apache基金会开发的一个开源项目，它是应对大数据挑战的核心工具之一。Hadoop的设计理念是分布式存储和处理，能够高效地...
Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu14.04_给力星.html
03-02
网上找的，适合于原生Hadoop2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。
厦门大学-林子雨-大数据技术原理与应用
10-10
厦门大学-林子雨-大数据技术原理与应用 第1章-大数据概述（2017年2月版本）.ppt
厦门大学-林子雨-大数据技术基础-第3章 分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作
11-20
熟悉常用的HDFS操作 （1） 理解HDFS在Hadoop体系结构中的角色； （2） 熟练使用HDFS操作常用的Shell命令； （3） 熟悉HDFS操作常用的Java API。
云计算分布式大数据-Hadoop深入浅出案例驱动实战外训讲义.rar
09-06
**云计算分布式大数据-Hadoop深入浅出案例驱动实战外训讲义** 在当今信息化时代，大数据已成为企业竞争力的关键因素。云计算以其弹性、可扩展性和成本效益为处理海量数据提供了理想的平台。其中，Hadoop作为开源的...
Hadoop集群安装配置教程_Hadoop2.6.0_UbuntuCentOS（林子雨教授，超级详细）
m0_67390379的博客
04-03 2456
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ 超级详细
Hadoop安装说明
Vovis的博客
11-29 361
1、  下载hadoop安装文件（hadoop-2.6.0-cdh5.5.0.tar.gz）并用二进制方式上传需要安装的主机。 2、  解压hadoop-2.6.0-cdh5.5.0.tar.gz文件。（tar  zxvf  hadoop-2.6.0-cdh5.5.0.tar.gz） 3、  在用户的环境变量文件中加入jar环境和hadoop的环境设置：（jar需要6及以上版本）
hadoop安装和配置
u011191453的专栏
08-11 286
1 安装jdk6以上版本 卸载自带openjdk rpm -qa | grep jdk yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 安装sunjdk 下载jdk-7u79-linux-x64.rpm rpm -ivh jdk-7u79-linux-x64.rpm rpm安装方式不需要配置jdk环境变量
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值