hadoop3.1单机节点

原创 2018年04月14日 23:43:14
单节点hadoop3安装。
1,安装jdk
tar -zxf jdk1.8.0_144.tar.gz 
sudo ln -s /opt/package/jdk1.8.0_144/ /usr/java/latest

2,ssh免密码登录
ssh-keygen -t rsa
ssh-copy-id vb-7
3,安装hadoop
tar -zxf hadoop-3.1.0.tar.gz 
rm -f bin/*.cmd(强迫症)
rm -f sbin/*.cmd
rm -f etc/hadoop/*.cmd
vi etc/hadoop/hadoop-env.sh 
export JAVA_HOME=/usr/java/latest

4,配置文件。
core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://vb-7:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/package/data/hadoop</value>
    </property>
</configuration>
hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>



mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>



yarn-site.xml
<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>




环境变量:
# jdk
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin
# hadoop
export HADOOP_HOME=/opt/package/hadoop-3.1.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin




格式化namenode
hdfs namenode -format
启动dfs
start-dfs.sh
hdfs dfs -mkdir -p /user/dota/input
hdfs dfs -put etc/hadoop/*.xml input


启动yarn
start-yarn.sh
执行example
按照官方的配置,执行这两个example报异常。
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar grep input output 'dfs[a-z.]+'   
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /user/dota/input/* output




异常:默认container是使用所有能获取的内存。


mapreduce.map.memory.mb 默认配置是-1


mapred-site.xml中配置限制container使用的内存。
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx512M</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx512M</value>
</property>


参考:
https://www.cnblogs.com/scw2901/p/4331682.html

Java基础视频教程动力节点_JavaScript

JavaScript 是属于网络的脚本语言! JavaScript 被数百万计的网页用来改进设计、验证表单、检测浏览器、创建cookies,以及更多的应用
  • 2016年12月24日 14:53

Hadoop3.1.0(伪分布式)安装教程

一、支持的平台支持GNU/Linux作为开发和生产平台。Windows也是一个支持的平台,下面步骤仅适用于Linux。二、所需软件所需的Linux软件包括:Java必须安装。如果要使用可选的启动和停止...
  • Sven119
  • Sven119
  • 2018-04-13 17:27:41
  • 312

Hadoop3.0: 单机(伪集群)配置

目的 本文主要讲解的是在单节点下的Hadoop的环境安装和配置,以帮助您可以快速的使用Hadoop的MapReduce和HDFS 前提条件 环境支持 GNU/Linux现已支持开发和生产环境....
  • m290345792
  • m290345792
  • 2018-01-16 15:45:22
  • 183

hadoop3.1环境搭建

  • 2018年04月14日 00:07
  • 25KB
  • 下载

Redis单机多节点集群实验

Redis单机多节点集群实验 第一步:安装Redis 前面已经安装过了 不解释, Reids安装包里有个集群工具,要复制到/usr/local/bin里去 cp redis-3.2.9...
  • dbreawbpcj
  • dbreawbpcj
  • 2017-07-30 02:55:28
  • 800

在elasticsearch 5.X下配置单机多节点

为什么要在单机下配置我机器很多,可以为所欲为的,为什么还要挤到一台机器上去? 最主要的原因是:elasticsearch单实例最大内存是建议不超过32G的,现在的服务器一般内存都比较大了,想充分使用...
  • u012375924
  • u012375924
  • 2017-09-27 18:22:13
  • 283

Elasticsearch学习(1)之安装部署(单机多节点模式)

Elasticsearch集群环境部署(单机多节点)1. 环境准备 名称 地址 jdk-8u77-linux-x64.tar.gz http://www.oracle.com/techn...
  • a806267365
  • a806267365
  • 2016-03-31 00:17:44
  • 5422

zk 单机 集群-节点操作,选举

zk 单机 集群-节点.选举
  • hzdxw
  • hzdxw
  • 2016-06-30 17:37:18
  • 505

ElasticSearch windows 单机多节点

虽然大部分的时候都会选择把ES环境搭建在linux机器上,但是个人认为,如果想自己开发测试比较方便,最好还是在自己本机搭建一个咯。 去官网你需要的ElasticSearch安装包,拷贝到你windo...
  • u010926227
  • u010926227
  • 2016-09-29 19:15:52
  • 822

RabbitMQ Windows7下单机多节点安装

RabbitMQ Windows7下单机多节点安装
  • zhang_jian__
  • zhang_jian__
  • 2017-04-07 18:09:26
  • 870
收藏助手
不良信息举报
您举报文章:hadoop3.1单机节点
举报原因:
原因补充:

(最多只允许输入30个字)