hadoop
文章平均质量分 51
Hao Ming
这个作者很懒,什么都没留下…
展开
-
FileStatus的主要方法的使用(源码)
关于FileStatus的使用主要是对文件和目录的状态查询,下面介绍了一些常用的FileStatus的方法//返回文件的长度,如果是目录则返回0 public long getLen() { return length; } //判断该对象是否为文件,如果是则返回为true public boolean isFile() { return !isd原创 2016-03-31 20:39:58 · 1708 阅读 · 0 评论 -
在eclipse中对hadoop集群文件的简单操作
本文主要介绍了在eclipse中开发的简单的文件操作程序,在导包时注意不要添加错误。以防出现不必要的错误import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import o原创 2016-04-01 09:51:30 · 591 阅读 · 0 评论 -
eclipse下hadoop的文件上传和下载
本文主要介绍了怎样编写hadoop的文件上传和下载 import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; i原创 2016-04-01 11:21:07 · 2267 阅读 · 0 评论 -
利用PathFilter上传多个本地的文件
介绍了上传本地的多个文件,其中应用了PathFilter接口进行了文件的类型的过滤。上传特定的后缀的文件。import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration; import org.apach原创 2016-04-01 17:19:55 · 364 阅读 · 0 评论 -
在hadoop下的多个文件合并
本篇文章主要是对多文件合并问题的一个程序展示,主要对程序进行了深入的分析。 import java.net.URI;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream;原创 2016-04-05 15:15:20 · 4812 阅读 · 0 评论 -
利用hadoop计算文件中的最大值
本文主要是找出文件中的最大值假设文件的类型为: A 66 B 72 C 91 A 43 C 62 C 85 B 35 A 23 B 39 找出文件中的每个对象的最大值: A 66 B 72 C 91 操作代码解析如下:import java.io.IOException;import java.net.URI;import原创 2016-04-25 20:43:31 · 1148 阅读 · 0 评论 -
利用hadoop计算WordCount
这是一个简单的计算词频的程序,利用hadoop运行出结果。 简单的分析图: 代码如下:import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.h原创 2016-04-28 20:44:49 · 518 阅读 · 0 评论 -
apache kafka系列之server.properties配置文件参数说明
每个kafka broker中配置文件server.properties默认必须配置的属性如下:broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.b转载 2016-10-17 22:35:26 · 394 阅读 · 0 评论