- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 scala简要：类与对象
在scala中，类并不声明为public，源文件可以包含多个类，所有这些类都具有共有可见性。对每个字段都提供了getter和setter方法，分别叫做 字段名 和 字段名_,可重新自定义。 1）如果字段私有，则getter和setter也是私有的 2）如果字段val，则只有getter方法 3）如果不需任何getter和setter，可将字段声明为private[this]将scala字段...
2014-12-28 10:28:01
3214
原创 scala 简要：数组与映射
Scala中的Array是定长数组，ArrayBuffer是变长数组，对应于Java中的ArrayList，C++中的Vector，可以用相同的代码处理这两种数据结构，用for （i由于Scala数组是用java数组实现的，可以在java和scala之间传递......scala中，映射是对偶的集合,可以看做将...
2014-12-27 15:50:15
2286
原创 scala 简要：再拾Scala
Spark 1.2 发布了，核心部分是scala写的, 需要重新回顾一下Scala了，写一点札记...Scala 运行于JVM之上，拥有海量类库和工具，兼顾函数式编程和面向对象。在Scala中， 解释器就是我们喜欢的REPL，变量或者函数的类型总是写在变量或函数的后面（与java相反），数值类型的转换通过方法而不是强制类型转换，仅当同一行代码存在多条语句时才需要用分号隔开。scala 允许自定义操作符，注意有分寸地使用，在使用scala.开头的包时，可以省去scala前缀。scala没有静态方法
2014-12-27 10:39:08
1578
原创 猪与蟒（pig and python)
Python 真是无处不在呀.pig 0.9以后将python作为嵌入式支持语音，使用Jython解释器利用python2.5的功能，这个接口的最上层是org.apache.pig.scripting.Pig首先python脚本会对一段Pig Latin脚本进行编译，然后将在Python中定义的变量传递给它，最后执行它.....
2014-12-21 14:45:42
3693
原创 会飞的猪（Pig）
猪会飞么?提高pig的性能,让猪飞起来有如下办法：1. 尽早地并经常地进行过滤2. 尽早地并经常地进行映射3. 正确并合理地使用Join4. 选择正确的数据类型，合适的并行值5. 调整pig 的性能属性：pig.cachedbag.menusage 和pig.skewedjoin.reduce.memusage6. 对中间结果进行压缩 ......
2014-12-21 14:37:57
2090
原创 与猪(pig)共舞
猪在吃东西的时候稍有浪费,pig 也有类似的情况.Pig Latin 是一种数据流语言，每个处理步骤都产生一个新的数据集，或产生一个新的关系。无论关系还是字段都是以字母字符开头，大小写敏感，注释和java相同。任何一种数据流处理的第一步都是指定输入，pig...
2014-12-20 17:26:30
1969
原创 可爱的猪——Pig
pig 提供了一个基于hadoop并行执行数据流处理的引擎,以Pig Latin来描述数据流，相当于一个有向无环图（DAG），节点代表处理数据的操作符，节点间的向量代表数据流。pig提供了类SQL的标准操作，比直接写mapreduce代码更容易维护，主要用于ETL,原生数据研究和迭代处理。pig 什么数据都吃，也能在非hadoop上并行运算，容易控制和修改，性能较快。用户提交hadoop任务的那
2014-12-13 17:16:00
2105
原创 Linux 运维分析中的常用命令一点通
除了万能的vi, 一般要记下下面的命令查看文件内容：cat 分页显示文件：more，less显示文件头尾：tail head内容排序： sort字符统计：wc查看重复出现的行：uniq字符串查找：grep文件查找：find归档：tarURL访问工具：curl...
2014-12-07 13:17:14
1915
计算机世界1000期特稿——信息革命的流金岁月
2008-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人