Hadoop
梁天超
青春如是,年少而已。 青春年少,如是而已
展开
-
通过win7 eclipse 连接虚拟机redhat 上hadoop的实现(中)
本篇的阶段性目标为实现虚拟机redhat上的hadooop运行(自带的WordCount示例程序)1 建立输入目录: hadoop fs -mkdir input 2 建立输入文件: 在 /usr/local/hadoop/hadoop-0.20.2 上建立test 文件夹. 里面创建file1 ,file2 文件,分别写入若干个单词3 将创建的输入文件放入in原创 2013-12-29 09:07:14 · 1434 阅读 · 0 评论 -
通过win7 eclipse连接虚拟机redhat上hadoop 的实现(下)
目标: 通过本机上eclipse 连接虚拟机hadoop, 并运行wordcount示例程序.1 插件安装一般来说, 下载的hadoop-0.20.2中包含eclipse插件, 但是只支持eclipse 3.2 之前的版本. 我又冲新下载了插件hadoop-eclipse-plugin-0.20.3-SNAPSHOT .将其复制到目录 F:\eclipse\eclipse\plugi原创 2013-12-30 09:09:22 · 1635 阅读 · 0 评论 -
hadoop示例程序 WordCount详解
hadoop框架由三部分组成,包括两个类(分别继承于mapper类和reducer类)以及一个主函数.WordCount示例功能为统计文本中的单个单词出现频率. 输入两个文本,输出为单词和出现次数的对应关系.下面对代码进行详细注释:package org.apache.hadoop.examples;import java.io.IOException;impor原创 2014-01-02 15:56:57 · 5374 阅读 · 0 评论 -
通过win7 eclipse 连接虚拟机redhat 上hadoop的实现(上)
目标: 利用本机(Win7)上的eclipse对虚拟机(redhat)上的Hadoop进行操作,实现学习和实验的目的大体工作流程之Hadoop安装部分:1、实现linux的ssh无密码验证配置. 2、在linux下安装jdk,并配好环境变量 3、修改linux的机器名,并配置 /etc/hosts 4、在windows下下载hadoop 0.20.0,并修改hadoop-env原创 2013-12-26 18:10:46 · 1854 阅读 · 0 评论 -
map/reduce 下ArrayWritable 的使用
在 map/reduce的开发中经常使用数组类型, 例如DoubleWritable ,当需要使用一组DoubleWritable的时候,DoubleWritable[] doublewritable =new DoubleWritable[n]即可.但是DoubleWritable[] 这种形式的数组并不能作为value在map和reduce中传递. 实际上,map/reduce原创 2014-01-20 15:21:44 · 4758 阅读 · 0 评论 -
虚拟机ODPS初体验
大数据竞赛的第二阶段需要通过远程桌面的方式连接阿里提供的虚拟机, 所有操作都是在远程主机上进行, 在搞清楚文件回传方式之前真是各种麻烦(写博客都没有办法贴代码)。 用了两个上午初步上手, 希望接下来进展顺利, 不要第一个月就惨遭淘汰。 首先在cmd 通过mstsc 链接远程桌面, 远程桌面上只有一个我的电脑图标。 C盘目录下的TOOLS文件夹中有eclipse ,pyth原创 2014-05-03 18:52:31 · 1793 阅读 · 0 评论 -
ODPS 下map / reduce 的编写
接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧. 总结一下在ODPS下 编写map / reduce 和进行购买预测的过程. 首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表. 输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out w原创 2014-05-08 16:24:55 · 2688 阅读 · 2 评论