架构基础：数据分析系统架构入门理解

问题：数据分析系统有哪些？

• 日志分析系统
• 大数据分析系统
• 。。。。

问题：如何理解OLTP与OLAP？

• OLTP：On-Line Transaction Processing system，在线事务处理系统
  • 特点：事务、一致性、持久化、高可用
  • 例子：业务系统
• OLAP：On-Line analytical Processing system，在线分析处理系统
  • 特点：维度、快照
  • 例子：大数据、人工智能

问题：OLAP的工作原理是怎样的？

• 具体流程：
  • 输入数据。
  • 流式读取文件，传入到计算节点。
  • 计算节点将传入的数据进行拆分与映射
  • 将相同节点传送到同一个节点上
  • 所有计算节点统计结果
  • 结果合并到同一个节点，输出数据
• 图片来源网络：
  

问题：日志分析系统架构是怎样的？

• 日志分析系统使用的工具：
  • Filebeat/logstash：日志收集工具
  • ElasticSearch：搜索服务器
  • Kibana Grafana：数据可视化工具
  • Kafka：消息队列
  • zookeeper：分布式应用程序协调服务
• 最简单方案：
  
• 标准方案：