python与go数据分析_k8s与数据分析--利用redash做自助数据分析

前言

通过数据分析和挖掘，让数据产生价值。一直以来我认为 devops 必须是一个闭环，即 apm，日志，监控着三大系统的数据，必须经过分析对 dev 和 ops 有价值。

数据可视化是大数据的『最后一公里』，做好可视化是对于数据分析是重要的。

今天，主要介绍 redash 这款数据分析的利器。

redash简介

redash 是一款开源的 BI 工具，提供了基于web的数据库查询和数据可视化功能。

支持 SQL, NoSQL, Big Data and API data 等20几种常见的数据源：

基本上满足了大多数的场景。相比 superset 除了上手简单，支持 influxdb 等时序数据库。这点对于监控数据分析很有优势。

sql 友好的 SQL editor，更加高效的编写复杂的 sql

随时写，随时查，实时看到查询的效果

支持丰富的可视化展示形式

Boxplot

Chart - Line, Bar, Area, Pie, Scatter

Cohort

Counter

Funnel

Map

Pivot Table

Sankey

Sunburst

Word Cloud

角色权限相关，支持ldap等，方便与企业内部的用户体系打通。

安装和简单使用

安装

如果是想直接体验的话，docker-compose 部署最简单，redashgithub 仓库中直接提供了docker-compose.production.yml 文件，直接 docker-compose up -d 即可。

# This is an example configuration for Docker Compose. Make sure to atleast update

# the cookie secret & postgres database password.

#

# Some other recommendations:

# 1. To persist Postgres data, assign it a volume host location.

# 2. Split the worker service to adhoc workers and scheduled queries workers.

version: '2'

services:

server:

image: redash/redash:latest

command: server

depends_on:

- postgres

- redis

ports:

- "5000:5000"

environment:

PYTHONUNBUFFERED: 0

REDASH_LOG_LEVEL: "INFO"

REDASH_REDIS_URL: "redis://redis:6379/0"

REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"

REDASH_COOKIE_SECRET: veryverysecret

REDASH_WEB_WORKERS: 4

restart: always

worker:

image: redash/redash:latest

command: scheduler

environment:

PYTHONUNBUFFERED: 0

REDASH_LOG_LEVEL: "INFO"

REDASH_REDIS_URL: "redis://redis:6379/0"

REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"

QUEUES: "queries,scheduled_queries,celery"

WORKERS_COUNT: 2

restart: always

redis:

image: redis:3.0-alpine

restart: always

postgres:

image: postgres:9.5.6-alpine

# volumes:

# - /opt/postgres-data:/var/lib/postgresql/data

restart: always

nginx:

image: redash/nginx:latest

ports:

- "80:80"

depends_on:

- server

links:

- server:redash

restart: always

通过 compose 文件可以看出，redash 依赖 redis 和 pgsql 数据库。redis 用来缓存一些查询result，而 pgsql 是元数据库，目前不支持 mysql 替换 pgsql。

其他安装方式，见官方文档

简单使用

先上一张实际的效果图：

包含了 couter 和 area chart。

数据源包括 influxdb 时序数据库，和 mysql 业务库。

其中 audit-middware 其实是 Query Results 库。Query Results Data Source 允许你在一些已经存在的查询结果之上再做一些高级的查询, 这样就可以轻易合并一些查询结果。

总结

在实际使用中，redash 和 superset 各有优劣。根据自己的场景来选择吧。查阅资料的过程中，已经有人对 redash 做了二次开发，这也许是深度使用的必经之路。

为什么非要使用这种开源 BI 可视化工具？

因为如果是前后端配合的话，工作量会很大。而且也很难实现随时修改随时上线。不过这取决于前期数据的完整性。

作者：iyacontrol

阅读原文

51Reboot 最新课程公告

第 19 期Python实战班正在火热招生中

第 8 期自动化运维班正在招生中

详情扫码咨询