大数据架构分析(BI工具)

ansible是新出现的自动化运维工具, ansible批量部署Consul

1.典型应用

   * ab test 平台 指标计算+指标 orderid, passenger 等.      cube 算法,快速生成 n 个维度的数据,可随意的下探上放. 其他细节

    见个人日记 http://www.cnblogs.com/fei33423/diary/2017/07/13/7160903.html

   * 监控统计

   * 报表展现

   * 异常检测 余弦定理 ,Apollo采用箱线图（Boxplot）

2. cboard 前端展现平台, 拖拽

 

维度就是 mysql 里的 group by

 

类比:

谈谈互联网后端基础设施

www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/

 

文件系统:

    hdfs

数据库:

   hbase phoenix 提供 sql 操作, join 缺失 https://github.com/forcedotcom/phoenix

计算系统:

   hive

sql管理和定时执行平台:

      阿里宙斯zeus.(自称调度,并没有资源协调功能,有hive本身完成.. )  查询数据,插入到数据库中. 数据库本身提供变动发送mq.

统计分析和展现平台:

•       大数据分析仓库麒麟(Apache Kylin eBay olap ) -- 全套. 含数据抽取 .全量数据统计, 各个维度都帮你计算好 (即cube). 维度就是 mysql 的 groupby . 缺点是非时序.
•       grafana是时序类大盘展示系统,时序数据展示工具. 阿里云sls, 日志分析后入口到hive上, 或者是时序分析数据库上. 用户olap分析, 基于传统的hive或者普通的mysql上 要么性能不行,要么无法时序展示.
•       CBoard 展现. 各种图表 CBoard 前端. 拖拽维度交互。借鉴了Databrick Cloud Platform和Zeppelin的可视化灵感，SQL或其他任何查询结构返回的二维数据表之后让用户通过简单拖拽列的组合方式进行数据透视、聚合与展示。[2]
•       zeppelin 类似CBoard.

      cboard 只是展示, 没有环比,同比监控.  这个是时序展示工具(grafana)的功能

      open-falcon  cboard

      ePub360 运维 h5制作工具

      Tableau 大数据分析 类似 excel ,数据导向, 不像 excel 那么容易编辑, 但是基于数据可以很方便的展示,对比,并且选择过滤 比 excel 方便很多. 放置在地图里按颜色深浅进行展示. 类似 图像工程师进行绘图. 很方便的进行分享,ppt. 1.联结原 excel 并通过公式新增字段时时计算, 利用散点图模板进行展示.  tableau 在可用性上对 excel 表面上是个改进,但实际上是个效率极大的优化. 不像 ppt 和 excel 展示和数据调整隔离. 另外单机存储也是大问题.

     比如我使用spark将数据计算完成之后，生成了一个并不太大的csv文件。这个时候完全可以使用Pandas强大的处理能力来进行二次处理，并最终使用Zeppelin的自动绘图能力生成报表

   与Tableau之类的BI工具相比功能差了一些，不过各有所长。Zeppelin 对程序员来说可以算是非常方便的一个工具了。 对日常的一些简单报表的工作量大大减小了[3]pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数.

    tableau的不足之处，用tableau处理实时数据响应很慢，而且预览数据不太方便，用来做做可视化不错。企业应用的话不及一些商业智能软件FineBI来得适应性强，效果好。

    mstr cognos 数云 tableau

实时:

 

E-MapReduce 增强型 Druid

druid Druid实时大数据分析

分析型数据库MySQL版（AnalyticDB for MySQL）是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议以及SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。阿里云ADS

//

原 荐 使用Spring Boot Actuator、Jolokia和Grafana实现准实时监控

KNIME!一款支持Python功能甩Excel几条街的免费数据分析工具

 

KNIME + Python = 数据分析+报表全流程

(摘抄:

经过对多种开源方案的比较，我选择使用knime+python的方案，可以有以下的优点

• 利用python和相关数据分析库的能力，对数据建模、分析、可视化，这块基于Anaconda；
• 利用knime的可视化数据流和report design能力，对数据ETL、建模、分析、报告。)

安装anaconda和jupyter - CSDN博客

 

 

    druid

    布本智能于去年3月推出产品“头条云”

[1] 如何用tableau快速实现excel分析

[2]

摘自： https://github.com/yzhang921/CBoard/wiki/%E5%89%8D%E8%A8%80#%E9%A1%B9%E7%9B%AE%E8%83%8C%E6%99%AF

[3] zeppelin安装部署配置http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817