- 博客(10)
- 资源 (1)
- 收藏
- 关注
原创 使用Scala编写WordCount详细分析
对于初学者来说写好一个scala的wordcount也是一个不容易的事情,一下是对两个方面来写一下scala中的Wordcount数据的使用:hello hive goodmand good mand good goodmand hello hive完整代码的编写:import scala.io.Sourceobject TestWorldCount {
2016-10-23 10:22:20 6493 1
转载 apache kafka系列之server.properties配置文件参数说明
每个kafka broker中配置文件server.properties默认必须配置的属性如下:broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.b
2016-10-17 22:35:26 406
原创 利用hadoop计算WordCount
这是一个简单的计算词频的程序,利用hadoop运行出结果。 简单的分析图: 代码如下:import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.h
2016-04-28 20:44:49 555
原创 利用hadoop计算文件中的最大值
本文主要是找出文件中的最大值假设文件的类型为: A 66 B 72 C 91 A 43 C 62 C 85 B 35 A 23 B 39 找出文件中的每个对象的最大值: A 66 B 72 C 91 操作代码解析如下:import java.io.IOException;import java.net.URI;import
2016-04-25 20:43:31 1171
原创 在hadoop下的多个文件合并
本篇文章主要是对多文件合并问题的一个程序展示,主要对程序进行了深入的分析。 import java.net.URI;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream;
2016-04-05 15:15:20 4829
原创 利用PathFilter上传多个本地的文件
介绍了上传本地的多个文件,其中应用了PathFilter接口进行了文件的类型的过滤。上传特定的后缀的文件。import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration; import org.apach
2016-04-01 17:19:55 399
原创 eclipse下hadoop的文件上传和下载
本文主要介绍了怎样编写hadoop的文件上传和下载 import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; i
2016-04-01 11:21:07 2307
原创 在eclipse中对hadoop集群文件的简单操作
本文主要介绍了在eclipse中开发的简单的文件操作程序,在导包时注意不要添加错误。以防出现不必要的错误import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import o
2016-04-01 09:51:30 621
原创 FileStatus的主要方法的使用(源码)
关于FileStatus的使用主要是对文件和目录的状态查询,下面介绍了一些常用的FileStatus的方法//返回文件的长度,如果是目录则返回0 public long getLen() { return length; } //判断该对象是否为文件,如果是则返回为true public boolean isFile() { return !isd
2016-03-31 20:39:58 1747
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人