2016年05月_燃烧的岁月_

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hive 字段类型

列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY (Hive 0.8.0以上才可用)TIMESTAMP (Hive 0.8.0以上才可用)复合类型:arrays: ARRAYmaps: MAPstructs: STRUCTunion: UNIONTYPE

2016-05-29 18:43:19 17446

原创 hadoop key和value 分隔符号设置

Configuration conf = new Configuration(); conf.set("mapred.textoutputformat.separator", ",");

2016-05-29 15:24:46 1770

原创 Spark是什么？

Spark特点： 1、内存计算 2、提供了支持DAG图的分布式并行计算框架，减少多次计算之间结果IO开销 3、提供Cache机制来支持多次迭代计算或者数据共享，减少IO开销 4、RDD之间维护了血统关系，一旦RDD fail掉了，能通过父RDD自动重建，保证了容错性 5、移动计算而非移动数据，RDD Partition可以就近读取分布式文

2016-05-22 11:00:33 734

转载一位私募操盘手写给亏钱散户的信（句句都是良心话！）

今天要分享的这篇文章据说就来自一个私募操盘手，虽然无从考证，但内容还是干货满满的，值得一读。　　股市是啥呢？　　股市是给那些缺少经济基础的人带来以小钱赚大钱的机会。对那些才高志大者来讲，股市简直就是一块经济福地。但是这个“有经验的人取得更多的金钱，有金钱的人取得许多经验”之处杀机四伏，偶有斩获尽管不难，要频频到手并不是易事，而以此为生则更是对自己以及人道的挑战。　　如果要我

2016-05-17 07:45:08 1398

原创第二章控制结构和函数

2.1 条件表达式if(x > 0) 1 else -1val s = if(x > 0) 1 else -1混合型表达式：if(x>0) "positive" else -12.2 语句终止val n = 12if(n>0) { r = r * n; n -= 1}s = s0 + (v - v0) * t + 0.5 * (a-a0) * t

2016-05-14 23:29:30 356

原创第一章基础

val 定义的值实际上是一个常量var 声明其值可变的变量val xmax,ymax = 100var greeting,message: String = null1.3 常用类型Scala的7种数值类型：Byte、Char、Short、Int、Long、Float和Double1、toString()2、to(10)"Hello".int

2016-05-14 04:23:18 244

原创快学scala第一章习题答案

2.1 在Scala REPL中键入3,然后按Tab键。有哪些方法可以被应用? 这个。。。。直接操作一遍就有结果了.此题不知是翻译的问题，还是原题的问题，在Scala REPL中需要按3. 然后按Tab才会提示。直接按3加Tab是没有提示的。下面是结果 Scala代码 1. != ## % &

2016-05-14 03:42:15 1583

原创十六：buffer cache作用概念

十六：buffer cache作用概念块：一个块里有多个行，一般情况下不会一行在多个块里区：给段分配一个区 extent 物理上连续的多个块区是Oracle给段分配空间的最小单位段：一个表就是一个段当Oracle创建表的时候自然就会创建一个段。一个会话修改的数据在没有提交commit之前，其他会话是看不到的。Oracle的dbf文件分成大大小小的块expor

2016-05-13 05:31:42 731