![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 61
njyzf
这个作者很懒,什么都没留下…
展开
-
hadoop 集群配置
<!--@page {margin:2cm}p {margin-bottom:0.21cm; direction:ltr; color:#000000; widows:0; orphans:0}p.western {font-family:"Liberation Serif","Times New Roman",serif; font-size:12pt原创 2012-11-28 10:16:51 · 445 阅读 · 0 评论 -
MapReduce 运行Kmeans代码
import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputSt原创 2014-04-01 16:13:21 · 14659 阅读 · 19 评论 -
[Hadoop系列]Hadoop的MapReduce中多文件输出
inkfish原创,请勿商业性质转载,转载请注明来源(http://blog.csdn.net/inkfish )。 Hadoop默认的输出是TextOutputFormat,输出文件名不可定制。hadoop 0.19.X中有一个org.apache.hadoop.mapred.lib.MultipleOutputFormat,可以输出多份文件且可以自定义文件名,但是从hadoop 0.20原创 2014-04-01 19:18:40 · 689 阅读 · 0 评论 -
Hadoop2.2.0多节点分布式安装及测试
众所周知,hadoop在10月底release了最新版2.2。很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得。这其中主要分为两类:1.单节点配置这个太简单了,简单到只要懂点英语,照着网上说的做就ok了。我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥~2.多节点配置这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署转载 2014-02-25 17:17:51 · 2449 阅读 · 0 评论 -
Hadoop2.2.0完全分布式集群平台安装与设置
作者:过往记忆 | 新浪微博:左手牵右手TEL | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址:http://www.iteblog.com/文章标题:《Hadoop2.2.0完全分布式集群平台安装与设置》本文链接:http://www.iteblog.com/archives/817Hadoop、Hive、Hbase、Flume等QQ交流群:1转载 2014-02-25 20:37:41 · 1446 阅读 · 0 评论 -
mapreduce文档倒排索引例程
import java.io.IOException;import java.util.StringTokenizer;import java.util.Collections;import java.util.Iterator;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce原创 2013-04-22 17:00:35 · 1089 阅读 · 0 评论 -
java环境的安装 eclipse创建启动器
1)到oracle官网下载合适版本的jdkhttp://www.oracle.com/technetwork/java/javase/downloads/index.html这里以jdk6(jdk-6u37-linux-x64.bin)为例:在shell终端执行:sudo ./jdk-6u37-linux-x64.bin执行完毕之后,配置环境变量:sudo vi /etc原创 2012-11-17 11:36:33 · 798 阅读 · 0 评论 -
linux下单机安装hadoop
OS :fedora17需要安装的软件:1)、ssh2)、java 3)、hadoop1、ssh安装yum install ssh*建立 SSH KEY: $ ssh-keygen -t rsa -P “” (注意不要多加空格或缺少空格)中途需要安装者选择保存密钥的文件,按回车使用默认的文件就可以了:Enter file in whic原创 2012-11-17 15:12:40 · 1844 阅读 · 0 评论 -
wordcount.java
mapper.javaimport java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;pu原创 2013-01-04 11:00:46 · 1253 阅读 · 0 评论 -
在hadoop框架中编译执行程序
1、eclipse3.3+hadoop0.20.2搭建的开发环境,可以用来调试程序,其中,hadoop以伪分布式方式运行。当程序在单机的伪分布式情况下运行无误时,就要到真正的分布式环境中运行mapreduce程序了。 可能真正分布式hadoop平台使用的hadoop版本与调试环境下实用的hadoop版本不一样,那么就要先在hadoop框架中编译程序,打包成jar程序,再在hadoop命令行运行程序原创 2013-01-04 14:32:56 · 915 阅读 · 0 评论 -
Eclipse下运行hadoop自带的mapreduce程序--wordcount
参考:1 http://phz50.iteye.com/blog/932373 2 http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html1、下载hadoop-0.20.22、下载eclipse3.33、配置hadoop-0.20.2伪分布式模式 (1)在hadoop-env.sh最后添加:e原创 2013-01-01 16:46:56 · 1985 阅读 · 0 评论 -
一个shell 脚本
#!/bin/shfor i in 1 2 3 4 5 6 7 8 9do scp -r ~/Desktop/hadoop-0.20.2 slave"$i":~/Desktop/ sudo scp /etc/profile slave"$i":/etc/profile ssh slave"$i" "source /etc/profile"# ssh slav原创 2014-04-10 09:14:08 · 587 阅读 · 0 评论