在Ubuntu进行Hadoop安装与配置

最新推荐文章于 2022-08-09 14:47:50 发布
最新推荐文章于 2022-08-09 14:47:50 发布
阅读量935 收藏 8
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36230524/article/details/83244288
版权

腾讯云 ubuntu 16.04.1 LTS 64位

伪分布式

 

Linux操作

修改root的密码 

sudo passwd root

将用户注销

logout

关闭防火墙

ufw disable

卸载iptables组件

apt-get remove iptables

下载vim组件(用于文本编辑)

apt-get install vim

进行文字的改变

sudo dpkg-reconfigure console-setup

linux远程连接

  •  第一:linux上有ssh服务
  • 第二:使用ssh客户端工具

为系统中安装ssh工具

apt-get install openssh-server

启动ssh服务

/etc/init.d/ssh start

查看进程,是否已经已经启动指定服务

ps -e | grep sshd

有了进程才可以有ssh的使用

ubuntu默认情况不允许root用户登陆
使用vim打开/etc/ssh/sshd_config文件

vim /etc/ssh/sshd_config

随后进行PermitRootLogin的内容修改,将内容设置为yes

配置ftp服务

安装ftp组件

apt-get install vsftpd

修改ftp用户密码

passwd ftp

ftp服务安装完成之后,会自动创建一个目录:/srv/ftp
cd /srv/ftp
设置此目录为完全权限

chmod 777 /srv/ftp

若要ftp可以正常工作,需要进行一些配置文件的修改"/etc/vsftpd.conf"

vim /etc/vsftpd.conf

设置如下配置:
设置不允许匿名登陆(必须正确用户名和密码)
anonymous_enable=NO
#配置用户具有写权限
write_enable=YES
允许本地用户登陆
local_enable=YES
是否将所有用户限制在主目录(去掉注释#)
chroot_local_user=YES
是否启动限制用户的名单
chroot_list_enable=YES
定义名单设置的目录(因为名单中可以设置多个账号)
chroot_list_file=/etc/vsftpd.chroot_list
增加一个服务配置
pam_service_name=vsftpd

进入配置文件
vim /etc/vsftpd.chroot_list
添加一个ftp用户,输入完成保存退出
修改/etc/pam.d/vsftpd
vim /etc/pam.d/vsftpd
注释掉以下内容
auth   required        pam_shells.so

启动ftp服务

service vsftpd start
service vsftpd restart

         //重新启动

查看是否已经启动ftp服务

ps -e | grep vsftpd

hadoop安装与配置

jdk安装与配置

下载jdk或直接ftp传入

wget http://download.oracle.com/otn-pub/java/jdk/8u191-b12-demos/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64-demos.tar.gz

解压缩并保存在/usr/local目录

tar xzvf jdk-8u191-linux-x64-demos.tar.gz -C /usr/local

改名

mv jdk1.8.0_191/ jdk

进入环境文件进行配置

vim /etc/profile

export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOM}E/sbin: 

#默认情况下修改环境变量的内容后,需要重新启动系统才可以读取新的配置,但也可以用source使配置立刻生效:

source /etc/profile


linux中安装hadoop

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5-src.tar.gz
tar xzvf hadoop-2.8.5-src -C /usr/local

#进入环境变量的配置

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

让配置生效

source /etc/profile

hadoop依赖于JDK支持,所以要在hadoop一个资源文件里面定义要使用的JDK路径

vim hadoop-env.sh 

确定Hadoop中将要使用到的jdk设置

export JAVA_HOME=/usr/local/jdk


测试hadoop

是否已经安装完成可用,可用hadoop自带测试程序
    进行单词统计信息,首先指定一个单词文件
#在Hadoop的目录(root@VM-0-3-ubuntu:/usr/local/hadoop#)下创建一个input目录:
 

mkdir input

编写一个文件(root@VM-0-3-ubuntu:/usr/local/hadoop# )
 

echo hello 6jj hello nihaoa > input/info.txt

每个单词中使用" "进行拆分

随后在input父目录中执行如下操作,最终结果将保存在output目录当中

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.8.5-sources.jar org.apache.hadoop.examples.WordCount input output

 

基于分布式的hadoop配置

配置ssh

ip不可变更,否则需要重新配置

为了配置方便,为每台电脑设置主机名称

vim /etc/hostname

将里面的localhost修改为"Hadoopm"

还需修改主机的映射配置,修改"/etc/hosts"文件,里面追加IP地址与hadoopm主机名称的映射

vim /etc/hosts

123.207.2.224 hadoopm

为了可以让生效起作用,建议重新启动输入reboot重新启动Linux

在在整个Hadoop的处理过程中,都是利用ssh实现通讯,所以即使是在本机,也建议使用ssh进行通讯处理,也必须在电脑上配置ssh免登陆处理
    由于电脑可能已经出现了ssh的相关配置,所以建议删除根目录下的".ssh"文件夹

cd ~
rm -rf ~/.ssh

在Hadoop的主机上生成ssh Key:

ssh-keygen -t rsa

此时程序若要进行登陆依然需要密码,需要将公钥信息保存在授权认证的文件之中"authorized_key"文件里面

cd ~
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

以后可进行免登陆处理

随后登陆

ssh root@hadoopm

登陆之后变成远程连接,那么可以使用exit退出当前的连接

hadoop的相关配置

所有的配置文件都在"/usr/local/hadoop/etc/hadoop/"目录

配置:"core-site.xml"

确定Hadoop的核心信息,包括临时目录,访问地址

<property>

      <name>hadoop.tmp.dir</name>
      <value>/home/root/hadoop_tmp</value>
</property> 
<property> 
      <name>fs.defaultFS</name>
      <value>hdfs://hadoopm:9000</value>
</property>
  • 本文配置的"hdfs://hadoopm:9000"信息,描述的是日后打开的页面管理器的路径,Hadoop版本2.X默认端口为9000
  • 在本配置之中最为重要的就是"/home/root/hadoop_tmp",这个文件路径配置的临时文件信息,若不配置,就会在hadoop的文件夹中生成"tmp"文件("/usr/local/hadoop/tmp"),如果这样配置,当重新启动,所有的信息都会被清空, 也就是说Hadoop的环境就失效了,为保证不出错,可先直接建立一个"/home/root/hadoop_tmp"目录 mkdir ~/root/hadoop_tmp

配置:"yarn-site.xml"

可以简单的理解为配置相关的job的处理


<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>hadoopm:8033</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>hadoopm:8025</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>hadoopm:8030</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>hadoopm:8050</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>hadoopm:8030</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>hadoopm:8088</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.https.address</name>
	<value>hadoopm:8090</value>
</property>

配置:"hdfs-site.xml"

可以确定文件的备份个数以及数据文件夹的路径


<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>
<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:///usr/local/hadoop/dfs/name</value>

</property>
<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:///usr/local/hadoop/dfs/data</value>

</property>
<property>

    <name>dfs.namenode.http-address</name>

    <value>hadoopm:50070</value>

</property>
<property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hadoopm:50090</value>

</property>
<property>

    <name>dfs.permissions</name>

    <value>false</value>

</property>

 

  • "replication":文件的副本数,一般情况下一个文件备份3份
  • "dfs.namenode.name.dir":定义名称节点路径
  • "dfs.datanode.data.dir":定义数据文件节点路径
  • "dfs.namenode.http-address":名称服务的http路径访问
  • "dfs.namenode.secondary.http-address":第二名称节点
  • "dfs.permissions":权限的访问,为避免无法进入的问题,设为false

 

由于Hadoop属于分布式的开发环境,考虑到日后要进行集群的搭建
建议在"/usr/local/hadoop/etc/hadoop/"目录中创建master文件,里面写上主机名称,内容就是hadoopm(之前在host文件里面定义的主机名称),若是的单机环境,不写也可以

vim masters

hadoopm

修改从节点文件(slaves),增加hadoopm

vim slaves 

由于此时是将所有的namenode,datanode路径保存在hadoop目录中,如果为了保险起见,可以自己创建,在hadoop目录下

mkdir dfs dfs/name dfs/data

若Hadoop出现了问题,需要重新配置,要将这两个文件夹清除掉

格式化文件系统

hdfs namenode -format

若格式化正常,就会出现"INFO util.ExitUtil:Exiting with status 0"信息
若出现错误就会出现"INFO util.ExitUtil:Exiting with status 1"信息

开启服务

start-all.sh

随后可利用JDK提供的jps命令查看,所有Java进程若返回6个进程,表示配置成功了 

jsp

随后可以测试HDFS是否可以正常使用

在浏览器输入IP和端口测试是否可以进入

由于用的是云服务器,想要进入内网,须将hdfs-site.xml修改

<property>

    <name>dfs.namenode.http-address</name>

    <value>0.0.0.0:50070</value>

</property>

浏览器:腾讯云公网IP+50070

如需关闭服务:

stop-all.sh

 

Map处理

排序处理

合并处理

Reduce处理

 

 

Java创建新项目,导入Hadoop包

common组件包:

  • hadoop/common
  • hadoop/commng/lib

mapreduec组件包

  • hadoop/mapreduce
  • hadoop/mapreduce/lib

 

 

 

 

 

lujj_6jj
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
详解Ubuntu16.04下Hadoop 2.7.3的安装与配置
01-10
一、Java环境搭建 （1）下载JDK并解压（当前操作系统为Ubuntu16.04，jdk版本为jdk-8u111-Linux-x64.tar.gz） 新建/usr/java目录，切换到jdk-8u111-linux-x64.tar.gz所在目录，将这个文件解压缩到/usr/java目录下。 tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/java/ （2）设置环境变量 修改.bashrc，在最后一行写入下列内容。 sudo vim ~/.bashrc export JAVA_HOME=/usr/java/jdk1.8.0_111
Ubuntu20.04下Hadoop的安装与配置
m0_67393619的博客
04-11 498
Hadoop 伪分布式配置 创建Hadoop用户： sudo useradd -m hadoop -s /bin/bash # 创建hadoop用户 sudo passwd hadoop # 修改密码 sudo adduser hadoop sudo # 增加管理员权限 注销并使用 Hadoop 用户登录，接着更新 apt 并且安装 vim： sudo apt-get update # 更新apt sudo apt-get install vim #
Linux/Ubuntu 安装与单机配置hadoop
呆萌的代Ma
07-23 358
文章目录1. 安装2. 配置步骤一：配置JAVA_HOME步骤二：配置端口与文件格式步骤三：配置HDFS文件目录步骤四：配置mapred步骤五：配置yarn步骤六：格式化步骤七：启动hadoop步骤八：打开hadoop测试页面3. 其他配置把hadoop的命令添加进环境变量 1. 安装 最新版安装网站：https://hadoop.apache.org/releases.html 历史版本：http://archive.apache.org/dist/hadoop/core/ 清华源：https://mir
Ubuntu中Hadoop环境搭建
kexinxin1的博客
12-20 1328
Ubuntu中Hadoop环境搭建 JDK安装 方法一：通过命令行直接安装（不建议） 有两种java可以安装oracle-java8-installer以及openjdk (1)安装oracle-java8-installer apt install software-properties-common add-apt-repository ppa:webupd8team/java ...
hadoop在ubuntu上的安装流程
weixin_33697898的博客
09-27 113
第一部分 安装ssh服务 更新源列表 打开"终端窗口"，输入"sudo apt-get update"-->回车-->"输入当前登录用户的管理员密码"-->回车,就可以了。 安装openssh-server 在终端中输入: sudo apt-get install openssh-server 查看查看ssh服务是否启动 打开"终端窗口"，输入"sudo ps -e...
Ubuntu中Hadoop安装配置.docx
最新发布
04-26
本文基于Docker在ubuntu容器搭建hadoop集群，并进行配置。 查找ubuntu容器 sudo docker search ubuntu 下载ubuntu16.04版本镜像 sudo docker pull ubuntu:16.04 如果需要查看已经下载的镜像 sudo docker images ...
Ubuntu中Hadoop安装配置.rar
04-26
本文基于Docker在ubuntu容器搭建hadoop集群，并进行配置。 查找ubuntu容器 sudo docker search ubuntu 下载ubuntu16.04版本镜像 sudo docker pull ubuntu:16.04 如果需要查看已经下载的镜像 sudo docker images ...
基于Ubuntu的Hadoop简易集群安装与配置
08-19
基于Ubuntu的Hadoop简易集群安装与配置，三台运行于Vmware中的ubuntu14.04系统搭建成简易Hadoop分布式集群，用于之后的大数据学习
ubuntu15.10下hadoop2.7.2的安装与配置详解
01-10
网上和很多书上都有不少的hadoop在linux系统下的安装教程，但是尝试过的读者会发现，就算是按照这些教程一步步的操作，还是会在某个地方出错，主要原因是版本问题。尤其是书上的版本一般都较老，所以并不建议对着书...
在 ubuntu 上安装hadoop
weixin_42013825的博客
03-19 1020
1、第一步，安装Ubuntu 随便找个教程安装就可以了 第二步，进去之后窗口是非常小的，我们来弄一下全屏 点击虚拟机----安装VMware-tools 安装成功之后会在桌面显示VMware-tools文件 先吧这个压缩包复制一下，粘贴到其他位置，我是粘贴到这里 提取到此处就可以看见这两个，进去文件夹 进去文件之后，右键打开终端 ...
ubuntu中安装hadoop记录
瓜子哥
02-23 974
Hadoop版本：hadoop-1.2.1-bin.tar Jdk版本：jdk-6u30-linux-i586 需要的软件：VMWare 9，ubuntu10.04 首先安装vmware9，然后在其中利用ubuntu的镜像安装3个虚拟机，具体方法可以搜到 在每个虚拟机中，执行以下操作： （1）创建hadoop用户组：sudo addgroup hadoop （2）创
在Ubuntu上安装Hadoop经历（第二部分有遇到的问题和解决方法）
qq_42760396的博客
04-05 1243
作业一 目录 安装HADOOP的步骤 安装虚拟机 （1）确认系统版本 （2）安装Ubuntu 2.安装Hadoop （1）创建Hadoop用户 （2）SSH登陆权限设置 （3）安装Java环境 （4）配置Hadoop 遇到的问题和解决方法 问题1：关于MacBook的尝试 问题2：在MacBook上，使用VMware虚拟机的尝试 问题3：SSH无密码登录状态 问题...
Ubuntu18.04搭建Hadoop环境
qq_42679379的博客
08-01 1607
一、安装JDK 更新源 sudo apt-get update sudo apt install openjdk-8-jdk-headless 请一定注意JDK不要安装最新版此前因为安装版本太高走了很多弯路 查看JDK版本 java -version 查看JDK安装目录 update-alternatives --display java 二、设在SSH免密码登录 安装SSH...
Hadoop环境搭建
筱白熊
03-21 166
Hadoop环境搭建 Hadoop简介 HDFS 工作机制 组件介绍 NameNode NameNode用于存储、生成文件系统的元数据。运行一个实例。 SecondaryNameNode SecondaryNamenode是Namenode的一个热备，合并NameNode的edit logs到fsimage文件中。 DataNode DataNode用于存储实际的数据，将自己管理的数据块上报给NameNode ，运行多个实例。 Yarn 工作机制 组件介绍 1. ResourceM
Hadoop运行模式：完全分布式运行模式（虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop）
weixin_44216665的博客
08-09 646
虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop集群常用脚本、 常用端口号、集群时间同步...
ubuntu下hadoop安装与配置【初学者】
热门推荐
qq_42970173的博客
03-27 2万+
安装前的建议： 将vm虚拟机连上网络后，在xshell6中连接ubuntu，然后进行编写，因为xshell6可以直接复制windows代码，如果在ubuntu桌面就必须纯手打代码，无法将外部浏览器的内容复制进去。 利用xftp6可以进行windows与linux文件传输，比如在windows系统安装了jdk1.8要上传到linux系统，则需要用到xftp6,（前提也是xftp6要连接到Linux...
Ubuntu16.05 下安装hadoop及伪分布式环境配置
积跬步，慕至千里的博客
01-18 280
Ubuntu16.05 下安装hadoop及伪分布式环境配置 一、准备 1．打开ubuntu终端，创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell $ sudo passwd hadoop #为hadoop用户设置密码，之后需要连续输入两次密...
在Ubuntu上安装hadoop-2.7.7
agvqbp8971的博客
07-01 271
1.安装open-vm-tools sudo apt-get install open-vm-tools 2.安装openjdk sudo apt-get install openjdk-8-jdk 3.安装配置ssh apt-get install openssh-server 4.在进行了初次登陆后，会在当前家目录用户下有一个.ssh文件夹，进入该文件夹下...
ubuntu中hadoop安装与配置
09-28
Hadoop在Ubuntu中的安装与配置可以按照以下步骤进行： 1. 创建hadoop用户并设置密码，并配置管理员权限： 使用命令 `sudo useradd -m hadoop -s /bin/bash` 创建用户。 2. 下载Hadoop的二进制文件并解压缩： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值