BigData
dazheng
从上大学就喜欢数据库,07年开始一直做数据仓库,期间做过一些大大小小的项目,也在五位数、个位数人数的公司打拼过,期间用过oralce、db2、hadoop,打算继续做大数据这块,希望能真正做出些有用的东西。坚信少即是多,一分耕耘一分收获。
展开
-
Big Data Lambda Architecture 翻译
Big DataLambda ArchitecturePosted on September5, 2012 by dbtubeIn orderto meet the challenges of Big Data, you must rethink data systems from theground up. You will discover that some of the most翻译 2015-08-04 21:06:36 · 1408 阅读 · 0 评论 -
大规模数据管理系统调查(学习笔记)
介绍大数据的四个特性 Volume(体量)、Velocity(速度)、Variety(多样性)、Veracity(精确性)应对 介绍基本情况 Data modelSystem architectureConsistency model基本实现原理 数据模型和数据分区SEDA/MapReduce架构高扩展性基于timestamps的并发控制协议强一致性模型扩展约束BASE模型及原创 2015-08-16 14:41:59 · 1280 阅读 · 0 评论 -
Spark SQL Relational Data Processing in Spark (学习笔记)
介绍用户一方面需要关系型操作,另一方面需要过程式的操作,shark只能进行关系型操作。Spark SQL可以将两者结合起来。Spark SQL由两个重要组成部分 DataFrame API 将关系型的处理与过程型处理结合起来,可以对外部数据源和Spark内建的分布式集合进行关系型操作压缩的列式存储,而不是Java/Scala对象Catalyst 提供了一整套性能分析、计划、运行时代码生原创 2015-09-06 22:29:50 · 2651 阅读 · 0 评论 -
Go连接Kafka
golang连接kafka的例子好少,而支持offset追踪者更少,但也是基础的要求。”github.com/bsm/sarama-cluster”结合“github.com/Shopify/sarama”满足了此要求。package mainimport ( "fmt" "os" "strings" "time" "github.com/Shopify/sa原创 2016-11-01 13:59:39 · 29045 阅读 · 4 评论