名称 | 简述 | 特点/主要功能 |
Tabix | ClickHouse Web 界面 | * 浏览器直接连接 ClickHouse,不需要安装其他软件。 |
- 高亮语法的编辑器。
- 自动命令补全。
- 查询命令执行的图形分析工具。
- 配色方案选项。
|
| HouseOps | 一个交互式 UI/IDE 工具,可以运行在 OSX, Linux and Windows 平台中 | * 查询高亮语法提示,可以以表格或 JSON 格式查看数据。 - 支持导出 CSV 或 JSON 格式数据。
- 支持查看查询执行的详情,支持 KILL 查询。
- 图形化显示,支持显示数据库中所有的表和列的详细信息。
- 快速查看列占用的空间。
- 服务配置。
|
| 灯塔 | ClickHouse的轻量级Web界面 | * 包含过滤和元数据的表列表。 - 带有过滤和排序的表格预览。
- 只读查询执行。
|
| DBeaver | 通用的桌面数据库客户端 | * 使用语法高亮显示查询开发。 - 表格预览。
- 自动完成。
|
| clickvisual | 轻量级的开源日志查询、分析、报警的可视化平台 | * 支持分析日志库一键创建 - 支持日志采集配置管理
- 支持自定义索引配置
- 支持报警配置
- 支持权限粒度到库和表的权限配置
|
二、什么是clickvisual
ClickVisual 是一个轻量级的开源日志查询、分析、报警的可视化平台,致力于提供一站式应用可靠性的可视化的解决方案。既可以独立部署使用,也可作为插件集成到第三方系统。目前是市面上唯一一款支持 ClickHouse 的类 Kibana 的业务日志查询平台,其具有如下特性:
√ 支持可视化的查询面板,可查询命中条数直方图和原始日志。
√ 支持设置日志索引功能,分析不同索引的占比情况。
√ 支持可视化的 VS Code 风格配置中心,能够便捷地将 logagent 配置同步到 Kubernetes 集群 ConfigMap 中。
√ 支持 GitHub 和 GitLab 授权登录。
√ 支持 Proxy Auth 功能,能被被非常轻松的集成到第三方系统。
√ 支持物理机、Docker、Kubernetes 部署。
√ 支持基于 ClickHouse 日志的实时报警功能
三、clickvisual安装部署
1、安装基本要求
支持的操作系统 | * Linux:amd64/arm64 |
- MacOS: amd64/arm64
|
| 支持的数据库 | Mysql |
| 资源要求 | clickvisual 占用资源较小,在内存和 CPU 的使用上非常轻量级。推荐使用 1核 CPU、128MB 内存来运行 |
| 支持的浏览器 | * Chrome/Chromium - Firefox
- Safari
- Microsoft Edge
- Internet Explorer 11
|
2、部署过程
clickvisual支持二进制、docker、k8s部署方式,此处选用二进制部署:
(1) github下载最新版本
# 获取最新版本
latest=$(curl -sL https://api.github.com/repos/clickvisual/clickvisual/releases/latest | grep ".tag_name" | sed -E 's/.*"([^"]+)".*/\1/')
# Linux amd64系统
wget "https://github.com/clickvisual/clickvisual/releases/download/${latest}/clickvisual-${latest}-linux-amd64.tar.gz" -O clickvisual-${latest}.tar.gz
(2)修改配置文件default.toml
[app]
isMultiCopy = false ### 集群模式开关 ###
secretKey = "secretKey"
rootURL = "http://xxx.xxx.xxx.xxx:xxxx/app/clickvisual/" ### serveFromSubPath为false,该值只允许是ip:port ###
baseURL = "/api/admin/login/"
permissionFile = '/usr/local/clickvisual/config/resource.yaml'
serveFromSubPath = true ### 是否开启url子路径支持,默认为false ###
[casbin.rule]
path = "/usr/local/clickvisual/config/rbac.conf"
[server.http]
# HTTP server Host
host = "0.0.0.0"
# HTTP server Port
port = 19001
embedPath = "dist"
maxAge = 86400
[server.governor]
# Governor server host
host = "0.0.0.0"
# Governor server port
port = 19011
[logger]
# log level, avaliable level: "debug", "info", "warn", "error", "panic", "fatal"
level = "debug"
name = "clickvisual.log"
[logger.default]
level = "info"
### 集群模式才需要部署redis ###
[redis]
debug = true
addr = "127.0.0.1:16379"
writeTimeout = "3s"
password = "xxx"
[mysql]
debug = true
# database DSN
dsn = "xxx:xxx@tcp(xxx.xxx.xxx.xxx:xxxx)/clickvisual?charset=utf8mb4&collation=utf8mb4_general_ci&parseTime=True&loc=Local&readTimeout=1s&timeout=1s&writeTimeou
t=3s"
# log level
level = "debug"
# maximum number of connections in the idle connection pool for database
maxIdleConns = 5
# maximum number of open connections for database
maxOpenConns = 10
# maximum amount of time a connection
connMaxLifetime = "300s"
[auth]
mode = "memstore" # redis memstore
name = "clickvisual_session"
debug = true
Keypairs = "secret"
# if use mode redis
# redisSize = 10
# redisNetwork = "tcp"
# redisAddr = ""
# redisPassword = ""
[auth.anonymous]
# enable anonymous access
enabled = false
[auth.proxy]
enabled = true ### 开启proxy auth认证模式 ###
isAutoLogin = true
headerName = "X-Clickvisual-User" ### 自定义header名称 ###
headerNickName = "X-CLICKVISUAL-NICKNAME" ### 自定义header名称 ###
rootTokenKey = "X-CLICKVISUAL-TOKEN" ### 自定义管理员token key名称 ###
rootTokenValue = "xxxxxxxxx" ### 自定义管理员token key值 ###
[[auth.tps]]
typ = "github"
enable = false
clientId = ""
clientSecret = ""
allowSignUp = true
scopes = ["user:email", "read:org"]
authUrl = "https://github.com/login/oauth/authorize"
tokenUrl = "https://github.com/login/oauth/access_token"
apiUrl = "https://api.github.com/user"
allowedDomains = []
teamIds = []
allowedOrganizations = []
[[auth.tps]]
typ = "gitlab"
enable = false
clientId = ""
clientSecret = ""
allowSignUp = true
scopes = ["api"]
authUrl = "https://git.bgy.com.cn/oauth/authorize"
tokenUrl = "https://git.bgy.com.cn/oauth/token"
apiUrl = "https://git.bgy.com.cn/api/v4"
allowedDomains = []
teamIds = []
allowedOrganizations = []
[prom2click]
enable = false
[[prom2click.cfgs]]
host = "127.0.0.1"
port = 9222
clickhouseDSN = "tcp://127.0.0.1:9000"
clickhouseDB = "metrics"
clickhouseTable = "samples"
(3)启动clickvisual服务,浏览器访问default.toml里rootURL配置的地址
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
-1712867486197)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-WyDVwMf7-1712867486197)]