2015年09月_dazheng

12月 11月 09月 08月 07月 06月 05月

原创 gRPC vs Thrift

简单分布式架构基本问题传输什么样的数据，用哪种协议哪种方式数据交换的效率好服务端如何处理请求需要扩展服务端时当你的服务超过最简单结构时，你想要灵活性可扩展低延迟当然，你更想要简单应该用这些协议吗SOAP XML， XML还是XMLCORBA 美好的想法，糟糕的实现过渡设计和臃肿 DCOM, COM+主要用于windows平台HTTP/TCP/Socket/Wh

2015-09-30 17:01:42 34326 4

原创 Shell常用

1、批量替换文本sed -i '/^$/d' *.sql #删除空行sed -i 's/,//g' *.sql sed -i 's/^M//g' *.sql #需要替换^M 或sed -i 's/\r//g' *.sqlsed -i 's/[ \t]*$//g' *.sql #删除行尾空白sed -i 's/$/,/g' *.sql sed -i '1 s

2015-09-21 18:33:19 799

原创 Spark SQL Relational Data Processing in Spark (学习笔记)

介绍用户一方面需要关系型操作，另一方面需要过程式的操作，shark只能进行关系型操作。Spark SQL可以将两者结合起来。Spark SQL由两个重要组成部分 DataFrame API 将关系型的处理与过程型处理结合起来，可以对外部数据源和Spark内建的分布式集合进行关系型操作压缩的列式存储，而不是Java/Scala对象Catalyst 提供了一整套性能分析、计划、运行时代码生

2015-09-06 22:29:50 2651