hadoop
小国子1
这个作者很懒,什么都没留下…
展开
-
上传和下载HDFS的文件的小代码
一段上传和下载HDFS的文件的小代码。import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.commons.io.IOUt原创 2015-09-01 21:27:12 · 409 阅读 · 0 评论 -
HDFS简易客户端实例
学习时候的代码,仅供复习使用package com.ligy.hadoop.hdfs;import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Config原创 2015-09-01 22:04:18 · 316 阅读 · 0 评论 -
计算单词数量的mapreduce程序
学习阶段尝试写的第一个MapReduce程序,测试成功跑过。没有什么技术难度。记录下来,以备复习使用。Mapper代码如下: import java.io.IOException;import org.apache.commons.lang.StringUtils; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.原创 2015-09-13 21:37:24 · 470 阅读 · 0 评论 -
搭建伪分布式Hadoop集群
虽然网络上已经有许多搭建的方法。文章也与他们雷同,但是这是我学习的时候搭建的步骤。写下来以供复习。 一.系统环境准备 1、修改下主机名为master 2.修改主机名网络映射 3.配置ssh无密码登录 a.创建密钥对 b.将公钥写入到authorizd_keys文件中 注:这里是为了启动hadoop的时候系统能够无密码登录,因为伪分布式是在模拟三个节点工作。它需要自己登录自己二原创 2015-09-01 21:54:01 · 431 阅读 · 0 评论