Ubuntu16.04搭建hadoop开发环境

最新推荐文章于 2023-03-23 17:49:27 发布
最新推荐文章于 2023-03-23 17:49:27 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： Linux 文章标签： ubuntu hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33096883/article/details/75675530
版权

jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
  • 解压
sudo tar -zxvf jdk-8u141-linux-x64.tar.gz -C /usr/local/
  • 设置环境变量
sudo vim /etc/profile
# 添加以下
export JAVA_HOME=/usr/local/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
# 立即生效
source /etc/profile

添加用户组

  • 创建
sudo addgroup hadoop
sudo adduser -ingroup  hadoop hadoop
  • 添加权限
sudo vim /etc/sudoers
# 添加以下内容
hadoop  ALL=(ALL:ALL) ALL

hadoop

http://hadoop.apache.org/releases.html
  • 解压
sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local
  • 环境变量
sudo vim /etc/profile
# 添加以下
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
# 立即生效
source /etc/profile

cd /usr/local/hadoop-2.7.3/etc/hadoop/
sudo gedit hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_141
  • 测试
cd /usr/local/hadoop-2.7.3
sudo mkdir input
sudo cp README.txt input/
sudo bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.3-sources.jar  org.apache.hadoop.examples.WordCount input output

ssh

  • 安装
sudo apt-get install openssh-server
  • 启动
sudo /etc/init.d/ssh start
  • 查看
ps -e | grep ssh
  • 生成秘钥
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorizd_keys
  • 设置root登录
sudo gedit /etc/ssh/sshd_config 
# 修改如下
PasswordAuthentication yes 
PermitRootLogin yes 
RSAAuthentication yes 
PubkeyAuthentication yes 
AuthorizedKeysFile %h/.ssh/authorized_keys
# 生效
service sshd restart
  • 登录
ssh localhost

搭建伪分布式

  • 创建文件夹
mkdir tmp
mkdir dfs
mkdir dfs/name
mkdir dfs/data


tmp是用来存放零时文件，比例运行过程中的文件等。namenode和datanode文件夹默认是放在tmp里面的，这2个文件夹用来存储hdfs里的内容。 
不配置的话，hadoop默认把tmp会创建在ubuntu系统里的/tmp文件夹里，电脑一旦重启会自动清除tmp文件夹内容，同时也清除了里面的namenode和datanode文件内容，这样就会造成每次重启电脑namenode和datanode内容都不在了，那就需要重写格式化Hadoop文件系统hdfs，以前运行的记录和文件都会没有。所有配置了tmp和namenode和datanode文件夹，重启后可以不用格式化，原文件依然保持在hadoop文件系统上，只是放在了自己的目录里。
  • 配置core-site.xml文件
cd /usr/local/hadoop-2.7.3/etc/hadoop
sudo vim core-site.xml
# 添加如下
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9009</value>
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.7.3/tmp</value>
    </property>
</configuration>
  • 配置hdfs-site.xml文件
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.7.3/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.7.3/dfs/data</value>
    </property>
</configuration>
  • hdfs
# 每次运行之前删除掉tmp下的文件和dfs下name和data中的文件
rm -fr tmp/*
rm -fr dfs/name/*
rm -fr dfs/data/*

sudo chown -R qihao:qihao hadoop-2.7.3/
bin/hdfs namenode -format 
sbin/start-dfs.sh 
jps
# 一开始我的9000端口被占用，NameNode一直没有出来，改成9009之后就好了
114371 NameNode
115619 NodeManager
115317 ResourceManager
114711 SecondaryNameNode
115658 Jps
114522 DataNode

配置eclipse

http://download.csdn.net/detail/qq_33096883/9906964
  • 配置hadoop主目录
在eclipse的Windows->Preferences的Hadoop Map/Reduce中设置安装目录

这里写图片描述

  • 配置插件
打开Windows->Open Perspective中的Map/Reduce，在此perspective下进行hadoop程序开发

打开Windows->Show View->Other->MapRduce Tools->Map/Reduce Locations，选择New Hadoop location…新建hadoop连接如下图

这里写图片描述

Location name和Host填写localhost，Map/Reduce Master的端口号必须和Mapred-site.xml中的HDFS配置端口号一致，这里填写9001，DFS Master填写HDFS的端口号必须和core-site.xml中的HDFS配置端口一致，这里填写9009，User name为Hadoop的所有者用户名，即安装Hadoop的Linux用户，这里为qihao

测试

  • 新建Map/Reduce工程
src——>new——>other可以在工程中建立Map类，Reduce类，以及MapReduceDriver类，向导会自动生成3个类的框架，向里面填写相关代码，之后点击MapReduceDriver类——>Run on hadoop来运行Hadoop应用
  • Map代码
package com.qihao;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MyMap extends Mapper<LongWritable, Text, Text, IntWritable> {
	
	private final static IntWritable one = new IntWritable(1);
	private Text word = new Text();
	public void map(LongWritable ikey, Text ivalue, Context context) throws IOException, InterruptedException {
		StringTokenizer itr = new StringTokenizer(ivalue.toString());
		while (itr.hasMoreElements()) {
			word.set(itr.nextToken());
			context.write(word, one);
		}
	}
}
  • Reduce代码
package com.qihao;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class MyReduce extends Reducer<Text, IntWritable, Text, IntWritable> {

	public void reduce(Text _key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		// process values
        int sum = 0;  
        for (IntWritable val : values) {  
            sum += val.get();  
        }  
        context.write(_key, new IntWritable(sum));  
	}

}
  • 主程序
package com.qihao;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class MyRun {

	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
		if (otherArgs.length != 2) {
			System.err.println("Usage: Wordcount <in> <out>");
			System.exit(2);
		}
		Job job = Job.getInstance(conf, "JobName");
		job.setJarByClass(com.qihao.MyRun.class);
		// TODO: specify a mapper
		job.setMapperClass(MyMap.class);
		// TODO: specify a reducer
		job.setReducerClass(MyReduce.class);

		// TODO: specify output types
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);

		// TODO: specify input and output DIRECTORIES (not files)
		FileInputFormat.setInputPaths(job, new Path(otherArgs[0]));
		FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

		if (!job.waitForCompletion(true))
			return;
	}
}
  • [导入jar包]

这里请注意，如果run的时候一堆依赖包找不到=>导入以下目录下的所有库

$HADOOP_HOME/share/hadoop/common
$HADOOP_HOME/share/hadoop/common/lib
$HADOOP_HOME/share/hadoop/hdfs
$HADOOP_HOME/share/hadoop/mapred
$HADOOP_HOME/share/hadoop/yarn
  • 工程配置
    这里写图片描述
    这里写图片描述

参考

齐豪
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ubuntu16.04搭建Hadoop2.6.7.pptx
09-19
操作系统使用Ubuntu16.04，Java环境使用jdk1.8.0_181，Hadoop版本使用hadoop-2.7.6，Scala版本使用scala-2.12.8，Spark版本使用spark-2.4.1-bin-hadoop2.7。 三、实验步骤 （一）SSH免密码登录 1. 安装SSH Server...
Ubuntu 16.04——Hadoop集群安装配置
最新发布
最後の後悔的博客
04-14 2422
hadoop 集群安装配置分为两个部分，一个部分是主节点（Master）和 从节点（Slave），两个部分需要完成的配置有一定的不同；总的来说，Master 所需要做的会比 Slave 会多一些。下面会演示两个部分需要做的事情；由于各台主机情况会有所不同，所以在报错的时候也会有一些的不一样，所以该文章仅供参考。
在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】
张小鱼的博客
03-23 752
Hadoop升级命令 sudo apt-get update报错问题，_张小鱼༒的博客-CSDN博客Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop未指定主机host网卡_张小鱼༒的博客-CSDN博客Hadoop升级update命令被锁定的解决方法_hadoop锁定符号怎么去掉_张小鱼༒的博客-CSDN博客目录系列文章目录文章目录前言一、安装Ubuntu16.04步骤二、对虚拟机的网络以及相关主机映射的配置2.1、查看WLAN的对应网络IP2.2、进入etc的network目录下
ubuntu16.04 Hadoop安装
web15870359587的博客
04-27 522
主要参考： 在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1（伪分布式） 配置ssh免密码登录 安装ssh server： sudo apt-get install openssh-server cd ~/.ssh/ # 若没有该目录，请先执行一次 ssh localhost ssh-keygen -t rsa # 会有提示，都按回车就可以 cat id_rsa.pub >> authoriz
【hadoop Linux（Ubuntu16.04）的安装】
耶耶猫猫的博客
09-22 911
安装Linux虚拟机Ubuntu16.04
Ubuntu 16.4虚拟机 配置Hadoop集群
ws_Ando的博客
11-24 2682
Ubuntu 16.4 配置Hadoop集群
Ubuntu16.04搭建Hadoop2.6.7-纯命令.docx
09-19
本实验报告主要探讨了如何在Ubuntu 16.04操作系统上搭建Hadoop 2.6.7的伪分布式环境，同时涉及到了MapReduce和Spark的思想以及大数据体系框架的理解。 Hadoop的产生源自于对大规模数据处理需求的应对。早期的Nutch...
ubuntu16.04 搭建APM编译环境源码
03-12
在Ubuntu 16.04上搭建APM（Autonomous Pilot Module）编译环境是一项重要的工作，特别是对于无人机和机器人控制系统开发的工程师来说。APM是开源的飞行控制软件，支持多旋翼、固定翼以及地面车辆等多种平台。本文将...
详解Ubuntu 16.04 搭建KVM环境
01-11
Ubuntu 16.04 搭建KVM环境 1 查看CPU是否支持KVM egrep (svm|vmx) /proc/cpuinfo 有结果输出，如下图：   2 安装KVM及相关依赖包 sudo apt-get install qemu-kvm sudo apt-get install qemu sudo apt-get ...
Ubuntu16.04搭建Hadoop2.6.7-图文详细版.docx
09-19
Ubuntu16.04搭建Hadoop2.6.7-图文详细版.docx
Hadoop安装（ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz）
06-19
hadoop详细安装，ubuntu16.04+ hadoop-2.9.1.tar.gz+jdk-8u74-linux-x64.tar.gz
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
11-01
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
Ubunutu16.04完成Hadoop集群式搭建
weixin_54028135的博客
03-03 2261
#Ubunutu16.04完成Hadoop集群式搭建 版本情况 VMwareWorkstation 12.5 JDK1.8.0_321 HADOOP-2.7.1 hadoop分布式工作机制说明 前面伪分布式配置时，只配置了HDFS的存储，并没有启用yarn进行资源管理，也未指定MapReduce执行所依赖的框架。要完成分布式集群搭建，接下来要完成下列工作： 在hdfs-site.xml中修改hdfs的副本数、指明SecondaryNamenode服务器 配置yarn集群 yarn-env.sh：指明yarn
Ubuntu16.04 安装配置Hadoop详细步骤（单机版）
web15285868498的博客
04-27 741
前提条件 （1）Ubuntu16.04 机子一台，尽量可以联网。 （2）已安装jdk,具体安装教程请看我以前的文章。 下载Hadoop Hadoop下载地址，推荐下载2.7.7版本，因为它比较稳定。 使用wget下载： root@instance-cqxyyrb2:/# mkdir Hadoop root@instance-cqxyyrb2:/# cd Hadoop/ root@instance-cqxyyrb2:/Hadoop# wget http://mirror.bit.edu.cn/apache/h
Ubuntu16.04安装Hadoop2.7.3教程
web15085599741的博客
04-27 448
Ubuntu16.04安装Hadoop2.7.3 教程 参考厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/install-hadoop/，遇到相关的地方有改动。 作者：秦景坤 日期：2017-4-20 GitHub： https://github.com/Roc-J/Hadoop/blob/master/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%89%E8%A3%85%E6%93%8D%E4%BD%9C%E6%89%8B%E5%86%8C/Ubun
Ubuntu16.04安装Hadoop单机和伪分布式环境超详细
热门推荐
康康
12-10 3万+
介绍：Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。 HDFS（ 分布式文件系统）为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。通过这次云计算课程，我希望通过自己亲手搭建Hadoop并操作一些实例来体会一下云计算的魅力。 安装环
Linux（ubuntu-16.04.2）上hadoop的安装与配置
LSEC小陆的博客
04-18 5571
Linux（ubuntu-16.04.2）上hadoop（hadoop-2.7.1）的安装与配置 关于hadoop的安装，网上有七七八八的教程，十个教程九个坑，还有一个特别坑。这使得很多新手在安装hadoop时，按照网上所谓的教程，一步一步，走到了某一步出错了，又搜不到解救之法，不得不放弃。安装过程蹦出的各种问题，让小白们吃吃了不少苦头。下面给出一个Hadoop安装教程（单机/伪分布式配置...
Ubuntu 16.04下Hadoop全配置教程：从单机到集群
本文档是关于在Ubuntu 16.04 LTS 64位操作系统环境下安装Hadoop 2.6.4的详细指南，...本文档提供了详细的指导，有助于读者理解并搭建一个Hadoop环境，无论是在学习阶段还是进行小型项目开发时，都是实用的参考资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值