![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 79
KevinWen777
这个作者很懒,什么都没留下…
展开
-
Ubuntu下hadoop的集群式分布配置
笔者最近在家里配置了hadoop的集群式分布,从此,终于告别了伪分布和单机分布,激动啊~~~~但网上的大多教程都是在CentOS上的,笔者看的教程也是,虽然大致步骤差不多,但还是遇到一些麻烦,再次与大家分享分享。 JDK 6u45 Hadoop 0.20.203.0 首先,保证要征用的几台电脑在同一个网域内,笔者征用了两台: Master:192.168.1.3 Slave1:192.1原创 2014-02-02 13:56:24 · 1500 阅读 · 0 评论 -
Ubuntu上安装Hadoop伪分布
由于学习上要用hadoop,虚拟机又很卡,而且不喜欢,只有在自己电脑上装个Ubuntu(我装的是12.04),但学校只有wifi,而且是输密码的那种,经常掉线,所以在寝室里安装Ubuntu就别想连接有线了。Ubuntu装好过后居然连无限网卡驱动都没有(不是说集成了的吗?看来我的无线驱动有点冷门耶- -),只有自己装。由于没有学过Linux,只有到网上找方法,但五花八门,没有一个对我适用,最后,在百原创 2014-01-12 11:01:48 · 1520 阅读 · 1 评论 -
Hadoop优化(待续)
近日在用hadoop测试些程序,但是,用的数据都是小数据,原创 2014-04-24 09:09:21 · 653 阅读 · 0 评论 -
Hadoop的整文件读取
写Hadoop程序时,有时候需要读取整个文件,而不是分片读取,但默认的为分片读取,所以,只有编写自己的整文件读取类。 需要编写的有: WholeInputFormat类,继承自FileInputFormat类 WholeRecordReader类,继承自RecordReader类 其中,用于读取的类是WholeRecordReader类。以下代码以T原创 2014-06-11 18:46:24 · 1057 阅读 · 0 评论 -
Hadoop的多文件输出及自定义文件名
最近写程序的时候要用到多文件输出。但是在网上找了很多资料,要么是老版本的方法,要么就是新版本的方法。网上很多说0.20.203.0版本的Hadoop中有MultipleOutputs类——确实有,只不过是老版的。坑啊。而他们用的MultipleOutputs是在org.apache.hadoop.mapreduce.lib.output里面的,但我笔者的Hadoop中偏偏就没有这个类。取去了一个最原创 2014-06-11 18:49:56 · 2850 阅读 · 0 评论 -
hadoop中的一些基本操作及wordcount的运行操作示范
先介绍几个初学时常用的命令(要先进入到hadoop的bin文件夹里): ①显示目录:hadoop fs -ls 如果要显示某个文件夹里的内容,则在后面添加文件夹的地址,例如显示input中的内容:hadoop fs -ls input(到现在还没发现怎么进入hdfs中的文件夹里去,好像没有这样的命令,所以就只能显示某个文件夹的内容,如果input里面还有文件夹,如example文件夹,则显示其原创 2014-03-14 18:23:23 · 1707 阅读 · 0 评论