- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 scala 学习第二章 函数
一 变长参数 函数 实现一个可变长度参数列表 函数，举例如下: def sum(args:Int*) = { var result =0 for(arg<- args) result +=arg result }函数得到的是一个类型为Seq的参数，但是不能直接传入Seq。比如如下的写法是错误的var s = sum
2016-02-25 22:38:48
539
原创 随机读取lzo压缩文件的方法
问题 在项目中需要随机读取LZO压缩文件。经测试在本地，如果是顺序读取一个lzo压缩文件是没有问题的。但是如果想从一个文件的多个随机位置开始读取一行数据的话，还是容易出问题。最后的妥协方案是，每次随机读取一个偏移位置，就打开一次文件流。同时，以下是关键代码: FSDataInputStream in= fs.open(new Path(fileName));lzoIn=new L
2016-02-25 16:51:08
1226
原创 scala学习笔记，第一章
scala伴生对象 scala没有静态方法，不过有个类似的特性叫做 单例对象。通常一个类对应有一个伴生对象，其方法跟java中的静态方法一样。 scala apply方法 scala中有类似函数调用的方法。举例来说，如果s是一个字符串，那么s(i)就是该字符的第i个字符。例如 "Hello"(4) //将输出 o 你可以
2016-02-24 23:29:25
588
原创 hadoop集群lzo某个机器上报错 Could not load native gpl library
错误 具体错误为: lzo.GPLNativeCodeLoader: Could not load native gpl library java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path 测试 首先编辑一个java类，获取当前"java.libr
2016-02-24 16:58:53
1373
转载 maven hadoop hbase 依赖
由于Hbase 0.94对Hadoop 2.x的支持不是非常好，故直接添加Hbase 0.94的jar依赖可能会导致问题。 但是直接添加Hbase0.96的依赖，由于官方并没有发布Hbase 0.96的jar包，通过maven编译项目的时候会出现找不到jar包导致编译失败。 通过网上的资料，得知Hbase 0.94后版本，直接添加Hbase-Client的依赖，
2016-02-17 13:50:08
2412
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人