- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用Scala编写WordCount详细分析
对于初学者来说写好一个scala的wordcount也是一个不容易的事情，一下是对两个方面来写一下scala中的Wordcount数据的使用：hello hive goodmand good mand good goodmand hello hive完整代码的编写：import scala.io.Sourceobject TestWorldCount {
2016-10-23 10:22:20
6435
1
转载 apache kafka系列之server.properties配置文件参数说明
每个kafka broker中配置文件server.properties默认必须配置的属性如下：broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.b
2016-10-17 22:35:26
398
原创 利用hadoop计算WordCount
这是一个简单的计算词频的程序，利用hadoop运行出结果。 简单的分析图： 代码如下：import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.h
2016-04-28 20:44:49
525
原创 利用hadoop计算文件中的最大值
本文主要是找出文件中的最大值假设文件的类型为： A 66 B 72 C 91 A 43 C 62 C 85 B 35 A 23 B 39 找出文件中的每个对象的最大值: A 66 B 72 C 91 操作代码解析如下：import java.io.IOException;import java.net.URI;import
2016-04-25 20:43:31
1158
原创 在hadoop下的多个文件合并
本篇文章主要是对多文件合并问题的一个程序展示，主要对程序进行了深入的分析。 import java.net.URI;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream;
2016-04-05 15:15:20
4820
原创 利用PathFilter上传多个本地的文件
介绍了上传本地的多个文件，其中应用了PathFilter接口进行了文件的类型的过滤。上传特定的后缀的文件。import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration; import org.apach
2016-04-01 17:19:55
371
原创 eclipse下hadoop的文件上传和下载
本文主要介绍了怎样编写hadoop的文件上传和下载 import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; i
2016-04-01 11:21:07
2282
原创 在eclipse中对hadoop集群文件的简单操作
本文主要介绍了在eclipse中开发的简单的文件操作程序，在导包时注意不要添加错误。以防出现不必要的错误import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import o
2016-04-01 09:51:30
595
原创 FileStatus的主要方法的使用(源码)
关于FileStatus的使用主要是对文件和目录的状态查询，下面介绍了一些常用的FileStatus的方法//返回文件的长度,如果是目录则返回0 public long getLen() { return length; } //判断该对象是否为文件，如果是则返回为true public boolean isFile() { return !isd
2016-03-31 20:39:58
1733
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人