上善若水

人法地,地法天,天法道,道法自然

Hadoop 新旧API之间区别

从0.20.0 版本开始,Hadoop 同时提供了新旧两套MapReduce API。部分早期的0.20发行版本反对使用旧的api,但是后续版本中可以继续使用旧的api,因此1.x和2.x发行版本同时支持就的api。 新旧API之间有如下几个明显区别: 新API倾向使用虚类,而不是接口,因为...

2018-05-04 10:07:16

阅读数:67

评论数:0

Hadoop HDFS及MapReduce示例程序

1、实现将本地文件合并,并上传至HDFS 本地文件在D:/hadooptest下 merge1.txt ---------------------- hadooptest merge2.txt ----------------------- hadoop map reduce Hado...

2018-04-26 11:06:56

阅读数:76

评论数:0

测试Hadoop程序报错:java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.31.225:9000/user/root

测试PutMerge程序时,出现java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.31.225:9000/user/root,测试程序源码如下: package com.hadoop.demo; import java...

2018-04-18 15:01:44

阅读数:115

评论数:0

用hadoop自带的wordcount测试

1、创建文件example.txt,并将其拷贝到hdfs的/user/root中 ./hadoop fs -put /root/example.txt /user/root 2、执行hadoop-mapreduce-examples-2.8.0.jar ./hadoop jar .....

2018-04-18 09:44:09

阅读数:132

评论数:0

Hadoop HDFS文件操作

1、添加目录,HDFS默认工作目录为 /user/{user},其中{USER}为当前登录的用户名。 hadoop fs -mkdir -p /user/root 2、查看目录文件列表 hadoop fs -ls -R / 3、将文件从本地目录put到hdfs中 hadoop fs ...

2018-04-17 10:52:57

阅读数:41

评论数:0

CentOS 7上安装hadoop集群

环境:CentOS 7虚拟机两台(192.168.31.224、192.168.31.225)、Hadoop-2.8.0 、jdk 1.8 实现两台虚拟机SSH免密码登录 1、修改主机名,192.168.31.224(hserver1),192.168.31.225(hserver2) ...

2018-04-16 17:04:52

阅读数:75

评论数:0

Hadoop安装配置

本次实验环境为Ubuntu 16.04.3 1、安装JDK,并配置环境变量,详见http://blog.csdn.net/u012343297/article/details/78748446。2、配置SSH面密码登录 先安装ssh sudo apt-get install ssh查看当前用户家...

2018-01-03 14:19:03

阅读数:142

评论数:0

Hadoop之MapReduce

MapReduce: 任务切分 ---->统计---->交换---->再次合并--->排序  map task 和 reduce task Job&task JobTracker:1.作业调度 2.分配任务、监控任务执行进度  3.监控TaskTracker...

2017-01-10 10:52:18

阅读数:156

评论数:0

hadoop之环境配置

1.准备Linux环境; 2.安装JDK; Ubuntu下:apt-get install open-jdk 3.配置环境变量:vi /etc/profile  export JAVA_HOME  export JRE_HOME  export CLASSPATH  export PATH 4.下...

2017-01-10 10:50:31

阅读数:247

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭