- 博客(9)
- 资源 (3)
- 收藏
- 关注
原创 scala简要:类与对象
在scala中,类并不声明为public,源文件可以包含多个类,所有这些类都具有共有可见性。对每个字段都提供了getter和setter方法,分别叫做 字段名 和 字段名_,可重新自定义。 1)如果字段私有,则getter和setter也是私有的 2)如果字段val,则只有getter方法 3)如果不需任何getter和setter,可将字段声明为private[this]将scala字段...
2014-12-28 10:28:01 3214
原创 scala 简要:数组与映射
Scala中的Array是定长数组,ArrayBuffer是变长数组,对应于Java中的ArrayList,C++中的Vector,可以用相同的代码处理这两种数据结构,用for (i由于Scala数组是用java数组实现的,可以在java和scala之间传递......scala中,映射是对偶的集合,可以看做将...
2014-12-27 15:50:15 2286
原创 scala 简要:再拾Scala
Spark 1.2 发布了,核心部分是scala写的, 需要重新回顾一下Scala了,写一点札记...Scala 运行于JVM之上,拥有海量类库和工具,兼顾函数式编程和面向对象。在Scala中, 解释器就是我们喜欢的REPL,变量或者函数的类型总是写在变量或函数的后面(与java相反),数值类型的转换通过方法而不是强制类型转换,仅当同一行代码存在多条语句时才需要用分号隔开。scala 允许自定义操作符,注意有分寸地使用,在使用scala.开头的包时,可以省去scala前缀。scala没有静态方法
2014-12-27 10:39:08 1578
原创 猪与蟒(pig and python)
Python 真是无处不在呀.pig 0.9以后将python作为嵌入式支持语音,使用Jython解释器利用python2.5的功能,这个接口的最上层是org.apache.pig.scripting.Pig首先python脚本会对一段Pig Latin脚本进行编译,然后将在Python中定义的变量传递给它,最后执行它.....
2014-12-21 14:45:42 3693
原创 会飞的猪(Pig)
猪会飞么?提高pig的性能,让猪飞起来有如下办法:1. 尽早地并经常地进行过滤2. 尽早地并经常地进行映射3. 正确并合理地使用Join4. 选择正确的数据类型,合适的并行值5. 调整pig 的性能属性:pig.cachedbag.menusage 和pig.skewedjoin.reduce.memusage6. 对中间结果进行压缩 ......
2014-12-21 14:37:57 2090
原创 与猪(pig)共舞
猪在吃东西的时候稍有浪费,pig 也有类似的情况.Pig Latin 是一种数据流语言,每个处理步骤都产生一个新的数据集,或产生一个新的关系。无论关系还是字段都是以字母字符开头,大小写敏感,注释和java相同。任何一种数据流处理的第一步都是指定输入,pig...
2014-12-20 17:26:30 1969
原创 可爱的猪——Pig
pig 提供了一个基于hadoop并行执行数据流处理的引擎,以Pig Latin来描述数据流,相当于一个有向无环图(DAG),节点代表处理数据的操作符,节点间的向量代表数据流。pig提供了类SQL的标准操作,比直接写mapreduce代码更容易维护,主要用于ETL,原生数据研究和迭代处理。pig 什么数据都吃,也能在非hadoop上并行运算,容易控制和修改,性能较快。用户提交hadoop任务的那
2014-12-13 17:16:00 2105
原创 Linux 运维分析中的常用命令一点通
除了万能的vi, 一般要记下下面的命令查看文件内容:cat 分页显示文件:more,less显示文件头尾:tail head内容排序: sort字符统计:wc查看重复出现的行:uniq字符串查找:grep文件查找:find归档:tarURL访问工具:curl...
2014-12-07 13:17:14 1915
计算机世界1000期特稿——信息革命的流金岁月
2008-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人