计算广告学习笔记2.1 合约广告系统-常见广告系统开源工具

来自于“师徒网” 刘鹏的讲课

接下来三章的大逻辑，合约广告->受众定向->数据加工交易->竞价

（阴影部分，个人感觉比较好用）

Hadoop：大的数据存储和计算平台

-HDFS：hadoop distributed file system
-MapReduce：先map再Reduce

离线数据处理部分：
-Hbase（离线数据处理）：列存储的数据库（非关系 NOSQL）
-Hadoop 上脚本语言：Pig（不需要对数据预加工）， Hive（需要对数据加工），便于把Hadoop上非结构的数据用类似SQL的语言方式来访问和加工。
-mahout: Hadoop上进行机器学习和数据挖掘的工具。

-elephant-bird：配合pig，Thrift产生的二进制pig访问不了，通过这个工具可以解决。  

在线数据分析部分：
-zoo keeper：分布式环境下解决一致性问题的开源解决方案
-Thrift：分布式环境下跨语言的通信问题的工具包
-Storm：流式计算的平台
-Scribe：分布式日志收集工具

跨语言服务搭建工具（Thrift）：
1、用Struct定义语言无关的通信数据结构。
2、用Service 定义RPC服务接口。
3、用Thrift按照你的编程语言生成服务框架代码

许多开源工具在twitter和Facebook的大数据量上进行过测试，所以可靠性还是很有保障的。