Ubuntu上hadoop集群安装[转]

最新推荐文章于 2024-10-31 16:17:19 发布
最新推荐文章于 2024-10-31 16:17:19 发布
阅读量71 收藏
点赞数
文章标签： 大数据 运维 开发工具
原文链接：http://www.cnblogs.com/ddblog/p/3736916.html
版权

hadoop-2.6.0集群环境搭建

一、主机规划

            1、准备4台Ubuntu 14.04 64-bit 虚拟机，一台充当resourcemanager和namenode，另外三台充当nodemanager和datanode。由于需要实现主机间ssh无密码访问，主机IP采用静态配置。配置如下：

namenode  　ip:192.168.1.110

datanode1 　ip:192.168.1.111

datanode2 　ip:192.168.1.112

datanode3 　ip:192.168.1.113

分别修改每一台的主机名和hosts文件

$sudo vim /etc/hostname

$sudo vim /etc/hosts

2、新建用户组和用户

$sudo groupadd clsuter

$sudo useradd -m -s /bin/bash -g clsuter -G sudo  hadoop

$sudo passwd hadoop

注销当前用户以hadoop用户登陆，主要是方便之后使用gedit编辑器修改配置文件。

3、安装ssh并配置无密码访问，依次执行下面的命令：

$ sudo apt-get install ssh

$ sudo apt-get install rsync

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys


4、配置namenode无密码访问datanode1

在datanode1上切换到/home/hadoop/.ssh执行

$ scp hadoop@namenode:/home/hadoop/.ssh/id_dsa.pub ./namenode_dsa.pub

$ cat namenode_dsa.pub >>authorized_keys

在namenode上执行：

$ ssh hadoop@datanode1(第一次需要输入密码，之后便可无密码访问）

同上分别配置datanode2 和datanode3

二、安装jdk和hadoop-2.6.0

1、安装jdk

到Oracle官网下载jdk-8u25-linux-x64.tar.gz将其拷贝到/usr目录，执行：$ sudo tar -zxf /usr/jdk-8u25-linux-x64.tar.gz

2、安装hadoop-2.6.0

到http://hadoop.apache.org/下载hadoop-2.6.0.tar.gz拷贝到/home/hadoop目录，执行：$ tar -zxf /home/hdoop/hadoop-2.6.0.tar.gz

3、配置环境变量

执行：$ sudo vim /etc/profile 在文件末尾添加如下内容：

export JAVA_HOME=/usr/jdk1.8.0_25
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0/etc/hadoop
export HADOOP_YARN_HOME=/home/hadoop/hadoop-2.6.0


三、配置hadoop

1、配置/home/hadoop/hadoop-2.6.0/etc/hadoop/core-site.xml

<configuration>
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/home/hadoop/hadoop-2.6.0/tmp</value>  
        <description>Abase for other temporary directories.</description>  
    </property>  
    <property>  
        <name>fs.defaultFS</name>  
        <value>hdfs://s3:9000</value>  
    </property>  
    <property>  
        <name>io.file.buffer.size</name>  
        <value>131072</value>  
    </property>  
</configuration>

2、配置/home/hadoop/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<configuration>
 
    <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>/home/hadoop/hadoop-2.6.0/dfs/name</value>  
    </property>  
    <property>  
        <name>dfs.datanode.data.dir</name>  
        <value>/home/hadoop/hadoop-2.6.0/dfs/data</value>  
    </property>  

    <property>  
        <name>dfs.replication</name>  
        <value>2</value>  
    </property>  
    <property>  
        <name>dfs.blocksize</name>  
        <value>268435456</value>  
    </property>
    <property>  
        <name>dfs.namenode.handler.count</name>  
        <value>100</value>  
    </property>  

</configuration>

 

3、配置/home/hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>  
        <name>yarn.acl.enable</name>  
        <value>true</value>  
    </property> 
    <property>  
        <name>yarn.admin.acl</name>  
        <value>*</value>  
    </property> 
    <property>  
        <name>yarn.log-aggregation-enable</name>  
        <value>false</value>  
    </property> 

    <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>s3:8032</value>  
    </property> 
    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>s3:8030</value>  
    </property>
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>s3:8031</value>  
    </property>
    <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>s3:8033</value>  
    </property> 
    <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>s3:8088</value>  
    </property>  
     <property>  
        <name>yarn.resourcemanager.hostname</name>  
        <value>s3</value>  
    </property> 
    <property>  
        <name>yarn.resourcemanager.scheduler.class</name>  
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>  
    </property>

    <property>  
        <name>yarn.scheduler.minimum-allocation-mb</name>  
        <value>1024</value>  
    </property>  

    <property>  
        <name>yarn.scheduler.maximum-allocation-mb</name>  
        <value>8192</value>  
    </property>  


    <property>  
        <name>yarn.nodemanager.resource.memory-mb</name>  
        <value>8192</value>  
    </property>  

    <property>  
        <name>yarn.nodemanager.log.retain-seconds</name>  
        <value>10800</value>  
    </property>  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
        <name>yarn.nodemanager.remote-app-log-dir</name>  
        <value>/logs</value>  
    </property>  
    <property>  
        <name>yarn.nodemanager.remote-app-log-dir-suffix</name>  
        <value>logs</value>  
    </property>  

    <property>  
        <name>yarn.log-aggregation.retain-seconds</name>  
        <value>-1</value>  
    </property>
    <property>  
        <name>yarn.log-aggregation.retain-check-interval-seconds</name>  
        <value>-1</value>  
    </property>

    <property>  
        <name>yarn.nodemanager.health-checker.script.path</name>  
        <value>-1</value>  
    </property>
</configuration>

 

4、配置/home/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml

    <configuration>  
        <property>  
            <name>mapreduce.framework.name</name>  
            <value>yarn</value>  
        </property>  
        <property>  
            <name>mapreduce.map.memory.mb</name>  
            <value>1536</value>  
        </property>  
        <property>  
            <name>mapreduce.map.java.opts</name>  
            <value>-Xmx1024M</value>  
        </property>  
        <property>  
            <name>mapreduce.reduce.memory.mb</name>  
            <value>3072</value>  
        </property>  
        <property>  
            <name>mapreduce.reduce.java.opts</name>  
            <value>-Xmx2560M</value>  
        </property> 

        <property>  
            <name>mapreduce.task.io.sort.mb</name>  
            <value>512</value>  
        </property> 
        <property>  
            <name>mapreduce.task.io.sort.factor</name>  
            <value>100</value>  
        </property> 
        <property>  
            <name>mapreduce.reduce.shuffle.parallelcopies</name>  
            <value>50</value>  
        </property>  


        <property>  
            <name>mapreduce.jobhistory.address</name>  
            <value>s3:10020</value>  
        </property>  
        <property>  
            <name>mapreduce.jobhistory.webapp.address</name>  
            <value>s3:19888</value>  
        </property>  
        <property>  
            <name>mapreduce.jobhistory.intermediate-done-dir</name>  
            <value>/mr-history/tmp</value>  
        </property>  
        <property>  
            <name>mapreduce.jobhistory.done-dir</name>  
            <value>/mr-history/done</value>  
        </property>  
    </configuration>

 

5、配置/home/hadoop/hadoop-2.6.0/etc/hadoop/slaves 把datanode的ip或主机名一行一个写入文件中

datanode1 或者192.168.1.111

datanode2 或者192.168.1.112

datanode3 或者192.168.1.113


6、启动hadoop

在namenode主机上启动如下进程：

格式化hdfs文件系统

$ $HADOOP_PREFIX/bin/hdfs namenode -format

启动namenode

$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

启动resourcemanager

$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

启动MapReduce JobHistory Server

$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR

使用jps命令查看运行情况：


分别在每台datanode上启动：

启动datanode

$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

启动nodemanager

$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start nodemanager


7、停止服务

要停止相应的服务只需把上面的命令中的start改为stop即可。

可通过浏览器访问如下地址查看hadoop的运行状态：

NameNode http://namenode:50070

ResourceManager http://namenode:8088

MapReduce JobHistory Server http://namenode:19888

四、运行测试

1、在hdfs文件系统上新建输入、输出目录

$ $HADOOP_PREFIX/bin/hdfs -mkdir /input

$ $HADOOP_PREFIX/bin/hdfs -mkdir /output

此次用hadoop自带的wordcount来做测试，在当前目录下新建测试文件test.txt

$ touch test.txt 并向文件中写入一定量的单词文本

$ $HADOOP_PREFIX/bin/hdfs -copyFromLocal test.txt /input

运行程序

$ $HADOOP_PREFIX/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/result

查看结果

$ $HADOOP_PREFIX/bin/hdfs -cat /output/result/*

欢迎指正！

文章来源：http://blog.csdn.net/fteworld/article/details/41944597

转载于:https://www.cnblogs.com/ddblog/p/3736916.html

weixin_34087307
关注
在Ubuntu上安装Hadoop集群最速度教程
weixin_62796203的博客
12-09 1867
ubuntu搭建hadoop集群中间可能会遇到许多小问题，比如ssh-copy-id,最后的访问web端等等，以及中间要无数次切换普通用户和root来达到互联，可能centos搭建hadoop会简单一点。搭建起来确实不太容易对于新手来说不太友好，做这样一个教程来帮助新手在ubuntu上配置hadoop集群。不要选择典型安装，典型安装之后登陆不上去，用户名和密码是正确的也登陆不上去（可能是这个版本的ubuntu有bug）设置->关于->软件->其他->选择服务器（推荐中科大的）
Ubuntu 16.4虚拟机 配置Hadoop集群
ws_Ando的博客
11-24 2776
Ubuntu 16.4 配置Hadoop集群
CentOS7.5下搭建Hadoop2.9.1完全分布式集群
热门推荐
pengjunlee的博客
08-11 11万+
本篇文章主要对完全分布式Hadoop集群环境的安装与配置步骤进行介绍。            集群的节点规划信息如下： Host Name IP Address Node Type User Name hadoop34 172.16.250.234 DataNode / NodeManager / NameNode hadoop / root hado...
Ubuntu上Hadoop集群安装和搭建（三台虚拟机，保姆级教程）
金州饿霸吃不饱的博客
10-09 1108
注意：这里不要使用克隆去克隆虚拟机，因为ub克隆后网络会出现问题，所建议大家直接安装三台虚拟机。
Ubuntu 16.04——Hadoop集群安装配置
最後の後悔的博客
04-14 2632
hadoop 集群安装配置分为两个部分，一个部分是主节点（Master）和 从节点（Slave），两个部分需要完成的配置有一定的不同；总的来说，Master 所需要做的会比 Slave 会多一些。下面会演示两个部分需要做的事情；由于各台主机情况会有所不同，所以在报错的时候也会有一些的不一样，所以该文章仅供参考。
Linux虚拟机系统Ubuntu搭建Hadoop集群
不励志成为瓦洛兰特糕手的突破手不是好码农
12-02 2105
大学生大数据实验亲手实操笔录，希望可以帮助到大家。
VMWare安装Ubuntu安装hadoop集群
leoliuyan的博客
11-11 9290
VMWare安装Ubuntu安装hadoop集群VMWare安装Ubuntu安装hadoop集群VMware Workstation安装安装ubuntu系统ubuntu中安装java安装ssh并设置免密登录安装hadoop VMWare安装Ubuntu安装hadoop集群 本文记载许多常见问题的解决方案，当遇到问题时，请先往下看，是否有解决方案，若无请自行百度查找。 VMware Workstation安装 安装器链接如下。 安装器 https://download3.vmware.com/software
Ubuntu下搭建Hadoop分布式集群
xk1835217729的博客
05-02 1万+
应学校课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边各种搜寻教程结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做，顺便自己也写一篇教程记录一下，其中也包含一些遇到的问题及解决方法。因为第一次接触到这方面所以有很多不足的地方，见谅，我只能做到尽量详细 在搭建的过程中，发现几篇写得很详细且文章排版清晰的博客，可供参考一下： https://blog.csdn.net/zyw2002/article/detai
Ubuntu20.04搭建hadoop集群
qq_42265170的博客
03-21 6303
❀因为学业原因，我需要学习在Ubuntu系统上面搭建出hadoop集群，此贴记录下我的搭建过程，防止以后自己忘记 首先需要提前搭建好Ubuntu系统，在系统中配置上静态ip Ubuntu20.04静态ip的配置： 第一步：cd /etc/netplan 第二步：修改其下名为01-network-manager-all.yaml的文件 vi 01-network-manager-all.yaml 第三步： 文件初始状态 增加内容 我的虚拟网络编辑器NAT模式下的WMnet8的子网地址为192.168.40.
ubuntu安装hadoop集群
DAICONG’s Blog
11-10 2645
官网： https://www.java.com/zh-CN/download/help/index_installing.html mkdir /usr/java mv jre-8u311-linux-x64.tar.gz /usr/java cd /usr/java tar zxvf jre-8u311-linux-x64.tar.gz sudo vim /etc/profile export JAVA_HOME=/usr/java/jre1.8.0_311 export JRE_HOME=$JAVA
详解搭建ubuntu版hadoop集群
09-15
**步骤1：在VMware上安装Ubuntu** - 打开VMware，选择“创建新的虚拟机”，然后选择“典型（推荐安装）”并点击“下一步”。 - 继续安装过程，直到安装完成。 **步骤2：配置主机名与网络** - 使用`vim`编辑`/etc/...
基于Ubuntu的hadoop集群安装与配置.pdf
06-30
【内容概要】: 本文档主要介绍了如何在Ubuntu操作系统上安装和配置Hadoop集群，以及Hadoop的基本原理和核心组件。Hadoop是一个开源的分布式计算平台，由Apache软件基金会开发。其核心包括Hadoop分布式文件系统(HDFS)...
基于Ubuntu的hadoop集群安装与配置
05-02
"基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置，涵盖Hadoop的基本概念、HDFS（分布式文件系统）、MapReduce（分布式计算模型）、集群架构、NameNode和DataNode的角色...
人工智能和大数据如何改变企业？
雪兽软件
10-29 319
尽管人工智能和大数据具有显著优势，但在应用它们时也存在挑战。必须考虑伦理问题，例如隐私和人工智能算法中的潜在偏差。总之，人工智能和大数据不仅在改变公司内部的营销方式，还在改变这些实体制定战略决策的方式。这些技术能够更好地了解消费者、定制营销努力并提供量身定制的推荐，从而提高客户满意度并带来销售额的增长。适应这些创新的公司不仅将保持在竞争的前沿，还将最大限度地利用市场机会。本文转载自雪兽软件更多精彩推荐请访问雪兽软件官网。
《使用Gin框架构建分布式应用》阅读笔记：p234-p250
codists的博客
10-29 1031
书里使用的是RabbitMQ(https://www.rabbitmq.com/)，这里补充一点说明：a、访问管理页面从3.8版本开始，管理插件(rabbitmq_management)默认不器用。需要先启用才能使用访问管理页面。b、默认帐号、密码如果启动容器的时候未设置密码，账号、密码默认是guest、guest。c、各端口作用client端通连接端口：5672页面管理访问端口： 15672服务间通信端口：25672d.管理页面Overview > Totals 缺少图exit。
二百七十三、Kettle——ClickHouse中增量导入数据准确性统计表数据（1天1次）
最新发布
tiantang2renjian的博客
10-31 975
Kettle——ClickHouse中增量导入数据准确性统计表数据（1天1次）
【Leecode】Leecode刷题之路第35天之搜索插入位置
工一木子
10-29 244
1.二分查找思想（天下大势，分久必合，合久必分）：分治思想（大数据也用到了这种思想）代码示例：（Java）代码示例：（Java）
Java 入门系列（1）：总篇
Chen7Chan的博客
10-30 479
新的编程之旅--Java站
中药大数据（四）：数据预处理+管理端的功能实现
roccreed的专栏
10-30 431
中药材产地可视化：内含全国省份的中药材种类分布地图，这个数据是从scrapy爬虫爬取到的数据进行提取之后使用echarts可视化进行提取的。提供主页功能：管理员可以直观查看系统数据情况、用户登录的信息、3D词云。用户可以向后台管理员发送中药药材和药方的纠错申请，管理员可以进行处理。数据爬取功能：基于scrapy爬虫进行中药药材数据和药方数据的爬取。比如我们输入了青酒缸，在中国地图上金色的点位展示了产地的信息。数据预处理：从药材数据中提取药材的产地信息。用户信息管理：可以进行用户增删改查的操作。
Ubuntu安装Hadoop集群三节点详细步骤
在Ubuntu系统上安装和配置Hadoop集群是一项关键任务，特别是在大数据处理和分析的场景中。以下是在Ubuntu 10.04上安装Hadoop 1.2.1版本以及JDK 6u30的详细步骤： 1. 准备环境：首先确保你已经安装了VMware 9，并在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值