- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 区块链
公有区块链中，参与到系统中的每个节点都是中心，都存放一份完整的交易账本系统。然而，每个节点却不能同时记账，因为节点所处的环境不同，接收到的信息自然不同，如果同时记账的话，必然会导致账本的不一致，造成混乱。既然节点不能同时记账，那就不得不选择哪个节点拥有记账的权力。但是，如果指定某些特殊节点拥有记账的权力，势必又会与去中心化的初衷相违背。比特币区块链通过竞争记账的方式解决了去中心化的记账系统的一致性...
2018-09-13 15:07:52
129
原创 Spark资料
test Spark SQL Catalyst源码分析之Optimizer [url]http://blog.csdn.net/oopsoom/article/details/38121259[/url]//spark 2.0优化规则[url]http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed4fece763105392230e54f...
2016-08-10 19:06:42
149
SparkSql 字节码生成技术
[size=large]以具体的SQL语句 select a+b fromtable 为例进行说明，下面是它的解析过程：[/size] [size=large][b]1.调用虚函数Add.eval(),需确认Add两边数据类型 2.调用虚函数a.eval()，需要确认a的数据类型 3.确认a的数据类型是int，装箱 4.调用虚函数b.eval(),需...
2016-08-01 11:25:39
411
原创 RDD简介
从源码来看，RDD是被定义为了一个抽象基类，里面定义了像compute（计算分区），getPartitions(获取分片)，getDependencies（获取依赖）等抽象函数及一系列基本函数（catch，persist，checkpointRDD）。然后具体的像 jdbcRDD, HadoopRDD, ShuffleRDD 等都继承自RDD并有份自己的实现。 [b][size=...
2016-07-25 19:38:54
142
原创 [转]Scala: Reflection(EXPERIMENTAL)
86d606bfb2664dc0ab2819db400ab4a2原文：http://docs.scala-lang.org/overviews/reflection/overview.html Overview EXPERIMENTALHeather Miller, Eugene Burmako, Philipp HallerReflection i...
2016-06-28 16:58:00
419
原创 scala之trait详解三：延时绑定
[size=large][b]我们知道，trait支持多重继承，那么scala是如何解决trait多重继承带来的方法冲突问题？[/b][/size] [size=medium][b] 通过延时绑定混入类的方法，可以有效的回避这一点。[/b][/size][size=medium][color=red]在trait里调用super可能解析成另一个trait的方法也可能解析成混入类...
2016-06-06 19:07:54
210
原创 scala之trait详解二：选择性混入
上篇文章[url]http://fushengxu.iteye.com/blog/2301179[/url]的例子里,Friend trait混入到了Dog类里,就可以将Dog的任意实例当做Friend。也就是说，所有的Dog都是Friend。此外，还可以在[b][size=large]实例一级[/size][/b]对trait进行[b][size=large]选择性混入[/size][/...
2016-05-29 00:13:03
108
scala之trait详解一
[b][size=large]问题一：scala为什么没有多重继承？[/size][/b] Scala和Java一样不允许从多个超类继承。我们知道，C++允许多重继承，但代价也是出人意料的高。主要是多重继承会出现棱形问题，也叫做钻石问题。关于多重继承的问题，可以参考[url]http://cncc.bingj.com/cache.aspx?q=%E9%92%BB%E7%9F%B3%E9%...
2016-05-26 21:30:24
304
原创 转：scala override的学习总结
1) 可以用override val 覆盖父类或trait中不带参数的def ， 但反过来不行， 既不可以用override def 覆盖父类的val,比如class Father{ def name = "Archer" def score() = 1.0 val id = 12}class Children extends Father{...
2016-05-26 14:23:05
285
Spark相关术语
[align=left][size=x-large]RDD[/size][/align]全称为Resilient Distributed Dataset，弹性分布式数据集。 就是分布在集群节点上的数据集，这些集合可以用来进行各种操作，能实现MapReduce不擅长的计算工作（比如迭代式、交互式和流式）。最重要的一点是，某个操作计算后的数据集可以缓存在内存中，然后给其他计算使用，这种在...
2016-05-25 19:18:23
84
原创 第一阶段进阶总结
1）特别注意jar包的版本问题。这方面出错，很难定位到错误，接下去得非常注意2）时间规划需要更加合理，对学习的知识需要有及时的书面总结。好记性不如烂笔头。3）更加努力点。4) 感谢帮助自己的导师和经验丰富的前辈们。有些问题，我们研究很久，可能经验丰富的前辈们一眼就看出来了。...
2016-05-25 10:04:29
123
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人