Hadoop分布式安装

最新推荐文章于 2023-06-28 01:57:08 发布
最新推荐文章于 2023-06-28 01:57:08 发布
阅读量178 收藏 1
点赞数 5
分类专栏： # Hadoop入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39381833/article/details/88601159
版权

文章目录

前期准备

  • 1安装虚拟机
  • 安装Ubuntu

不同的启动模式

ctrl alt + f6 //文本模式
ctrl alt + f7 //桌面模式

开机进入文本模式

1 修改/etc/default/grub

#开进进入图形 模式
#GRUB_CMDLINE_LINUX_DEFAULT="quiet"
#开进进入文本模式
GRUB_CMDLINE_LINUX_DEFAULT="text"

跟新使生效

sudo update-grub

重启

sudo reboot

更换Ubuntu的更新源

先对原有的源进行备份

在这里插入图片描述

修改sources.list

sudo nano source.list

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

更新软件源

sudo apt update

sudo apt upgrade

安装net-tools

sudo apt-get install net-tools

ifconfig查看ip

ipconfig

在这里插入图片描述

修改虚拟机为静态ip

查询虚拟机的MAC地址
在这里插入图片描述
在这里插入图片描述

sudo vim /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf

一定要在最后一行添加如下信息


host 01 {

hardware ethernet 00:0C:29:1C:DD:B1;

fixed-address 192.168.26.139;

}

host 02 {

        hardware ethernet 00:50:56:24:39:FA;

        fixed-address 192.168.26.140;

}

host 03 {

        hardware ethernet 00:50:56:2A:9E:E6;

        fixed-address 192.168.26.141;

}

重启VM

重新命名机器

sudo hostnamectl set-hostname master1

修改地址映射

sudo nano /etc/hosts

192.168.26.139 master1
192.168.26.140 salave1
192.168.26.141 salave2

关闭防火墙

sudo service stop firewalled
sudo systemctl disable firewalld.service

JDK安装

在/下建立/soft文件夹

jdk上传到服务器

在这里插入图片描述

安装

sudo tar -xzvf jak...

sudo rpm -ivh jdk...

在这里插入图片描述

创建/soft/并修改权限

sudo chown ubuntu:ubuntu /soft

把tar开的文件夹移动到/soft

sudo mv ~/Downloads/jdk1.8.0_65 /soft/

安装成功
在这里插入图片描述

修改环境变量

在这里插入图片描述1 简单配置 直接添加即可


PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk1.8.0_65/bin"

2 添加一个软链接
在这里插入图片描述

JAVA_HOME=soft/jdk
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk/bin"

即刻生效

source environment

在这里插入图片描述

Hadoop安装

同理tar开
在这里插入图片描述

移动到/soft
在这里插入图片描述
修改环境变量

sudo nano /etc/environment

bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share
  GNU nano 2.2.6                                         File: /etc/environment                                                                               Modified  

JAVA_HOME=/soft/jdk
HADOOP_HOME=/soft/hadoop
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk/bin:/soft/hadoop/bin:/soft/hadoop/sbin"


sourve envrionment

需要reboot一下

在这里插入图片描述

安装成功
在这里插入图片描述

Hadoop基础知识

  • Hadoop Common：
//支持其他模块的工具模块
  • HDFS
    1. NamoNode
    2. DateNode
    3. SecondarNameNode
分布式文件系统 ，提供了对应用程序数据的高吞吐量访问

  • Hadoop YARN

    1. ResourceManager
    2. NodeManager
作业调度与集群资源管理的框架
  • Hadoop MapReduce
基于YARN系统的对大数据集进行并行处理

在这里插入图片描述
可以看到基本都是jar
在这里插入图片描述

Hadoop模式

  • Standalone 本地模式 默认
  • Psedodistributed mode 伪分布式
  • Fully distributed mode 完全分布式

默认为本地模式 hdfs文件系统也就是本地Linux文件
在这里插入图片描述

没有启动任何进程 没有守护进程
在这里插入图片描述
用于测试和开发

Hadoop伪分布式配置

守护进程运行在本机器上

配置文件都在/hadoop/etcxia
在这里插入图片描述

  • core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
		<!-- 指定namenode地址-->
			<property>
				<name>fs.defaultFS</name>
				<value>hdfs://localhost</value>
			</property>
			<!-- 
				指定临时目录，需要提前创建 
				$> mkdir -p ~/hadoop/tmp
			-->
			<property>
   　　　<name>hadoop.tmp.dir</name>
   　　　<value>/root/hadoop/tmp</value>
</property>

</configuration>
  • hdfs-size.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

     	<property>
   　　　	<name>dfs.replication</name>
   　　　	<value>1</value>
		</property>

  • mapred-site.xml

    需要先拷贝一份


		 	$> cp mapred-site.xml.template mapred-site.xml
		 	$> vi mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

		 		<!-- 指定MR程序运行在yarn上 -->
		 		<property>
  　　　　　			<name>mapreduce.framework.name</name>
  　　　　　			<value>yarn</value>
				</property>
  • yarn-site.xml
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>
        <value>localhost:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>localhost:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>localhost:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>localhost:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>localhost:8088</value>
    </property>
</configuration>

配置ssh远程无密码登陆

1 安装ssh

sudo apt-get install ssh

2 生成密钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

在这里插入图片描述

查看生成的密钥
在这里插入图片描述
导入到密钥库中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

登陆到本机

ssh localhost

在这里插入图片描述

启动hadoop

格式化Hdfs

hdfs namenode -format

启动

start-all.sh

查看进程
在这里插入图片描述
路上遇到很多很多坑：配置文件的时候千万不要随便加空格 ，第一行 第二行开始写效果都是不一样的

HIve的安装

可以参考下一篇博客
Hive安装

oifengo
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop分布式安装配置.docx
11-03
虚拟机上安装分布式安装hadoop，恰同学少年，风华正茂，挥斥方遒
Hadoop分布式安装详细步骤
俺滴的博客
05-30 2327
一、先决条件 1. 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。 2. 所需软件 Linux所需软件包括: JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。 ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 3.安装所需环境软件
Hadoop分布式集群的安装(图解)
qq_43325476的博客
01-07 5665
搭建是学习大数据的基础，大家一定要好好的搭建，可以试着多搭建几遍
在CentOS7上安装Hadoop分布式系统
m0_53317797的博客
09-16 847
全程无失误配置Hadoop分布式系统
Hadoop完全分布式安装
an_vana的博客
08-16 940
Hadoop 完全分布式安装 前言 ​ 之前有搭建过一次 Hadoop 完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。 环境及机器： 节点：三台虚拟机 配置：内存 16G、硬盘 100G 系统：Centos 7.7 Hadoop版本：2.7.7 1、安装JDK1.8 1.1 下载 JDK ​ 推荐安装 Oracle 官方提供的 JDK 版本，可以在 Oracle 官网下载得到，下载 Linux 系统的版本即可 1.2 解压 JDK ​ 将下载的 JDK
Hadoop完全分布式安装，全网最详细！
weixin_53492344的博客
03-15 1133
然后回车；
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客
10-24 2万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
【Hadoop】伪分布式安装
你不来，再美的天地，都狼藉 ~
03-10 2500
还不懂Hadoop伪分布式安装？一文带你从0开始搭建大数据代表作Hadoop环境！
Hadoop 分布式平台安装过程心得
m0_51476524的博客
01-27 3843
Hadoop安装配置过程处理和心得笔记 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 本文主要是记录了从安装VMware到配置Hadoop计算机集群配置的过程 提示：以下是本篇文章正文内容，下面案例可供参考 一、VMware和相关辅助软件的安装 首先从官网下载了VMware，进行安装，安装过程比较傻瓜式，不再赘述，但是安装完成后显示的页面并不是完全的功能，需要提供激活码，网上有资源，用于学习的
Hadoop的伪分布式安装
m0_63617653的博客
05-04 520
Hadoop伪分布式安装
【Hadoop】安装部署-完全分布式搭建
Deity567的博客
06-28 2396
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中。Hadoop是大数据中的基础框架，有着广泛的应用，也是其他大数据框架的基础。总的来说，对于本次Hadoop的完全分布式的搭建还算是挺简单滴啦，若有不对滴还请大家在评论区指正哦！
hadoop分布式安装java与hadoop.docx
10-25
解压hadoop2.7.1.tar.gz文件，文件位置根据情况而定，本机文件正好放在根目录下，所以没有带路径，请一定根据自己文件所在路径把相应路径加上，进行解压，/usr/local为目标路径，也是根据情况而定，因人或者要求而定
hadoop分布式安装02.mp4
09-29
hadoop分布式安装02.mp4
Hadoop分布式安装笔记.rar
03-06
Hadoop分布式安装笔记.rar
hadoop完全分布式安装步骤
09-29
hadoop完全分布式安装步骤 实验环境为VirtualBOx虚拟机
Linux常用命令(上)
ifeng
09-12 7279
简单命令 显示linux系统的当前时间 date 以2012/03/23的方式显示日期 date +%y/%m/%d * 列出当前月份的月历* cal 显示整年的月历 cal 2018 显示2018年3月的月历 cal 3 2018 使用计算器计算 bc 使用计算器计算1/3，结果保留2位小数 scale = 2 1/3 显示当前目录下...
存储技术现在的困境以及未来的发展
ifeng
05-05 5004
前言 当前的存储技术虽然已经取得了巨大的发展,一块小小的U盘就已经能够存储128G,但是随着智能设备的发展,ipv4都已经不够用了.存储技术也已经越来越显得捉襟见肘. 需求上来了,硬件跟不上也要解决呀 硬件上需要有突破,软件上也需要有相应的跟进,目前的面对大数据的解决方案是通过分布式的存储技术来破除硬件上的限制,当然这样做也有助于对提升对数据计算能力 本文将从现在大数据存储结构从获取到存储再到计算...
Spark基于搜狗日志数据分析
ifeng
01-06 2176
针对搜狗实验室的语料数据-用户查询日志（网页搜索用户查询及点击记录）进行Spark数据分析。 Data 简介 搜索引擎查询日志库设计为包括约1个月(2008年6月)Sogou搜索引擎部分网页查询需求及用户点击情况的网页查询日志数据集合。为进行中文搜索引擎用户行为分析的研究者提供基准研究语料。 格式说明：数据格式为访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\...
Hadoop入门(10)--分布式缓存DistributedCache
ifeng
07-31 990
DistributedCache的原理 执行MapReduce时，可能Mapper之间之间需要共享一些信息，若信息量 不大，可以将起从HDFS加载到内存中，这就是Hadoop的分布式缓存机制 实例 统计在清单中的单词的次数 1 将单词清单加载到缓存中 2 输入第一行 和单词清单中的单词进行逐个对比 3 对比后将对比的结果进行输出 如何使用DistributedCache...
hadoop分布式安装
最新发布
07-30
Hadoop分布式安装的步骤如下： 1. 在hadoop1上搭建伪分布式，并安装hadoop集群的所有进程。根据分布式规划，需要关闭SecondaryNameNode和ResourceManager进程。在hadoop1上执行以下命令： ``` chkconfig hadoop-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oifengo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值