hadoop学习
Chrollo
这个作者很懒,什么都没留下…
展开
-
HDFS的java客户端api的基本使用
package hdfs1;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apac...原创 2018-11-05 21:58:12 · 204 阅读 · 0 评论 -
hadoop的基本安装
一、准备工作 1、首先要保证机器之间能够ping通。 2、修改主机名(在/etc/hostname下修改) 3、添加地址与主机名的映射关系(在/etc/hosts下修改) 4、下载好jdk,并在/etc/profile下配置java路径(将jdk添加JAVA_HOME;将bin添加到PATH,以$开头,以:结尾最后加上$PATH)二、配置ssh免密登录 1、生成ssh-key...原创 2018-11-15 13:48:30 · 235 阅读 · 0 评论 -
hadoop中wordcount的实现
1、写mapper、reducer和submitter的程序mapperpublic class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override protected void map(LongWritable key, Text value, Cont...原创 2018-12-04 09:49:33 · 1142 阅读 · 0 评论