1.Clickhouse 快速开始

最新推荐文章于 2024-05-27 17:49:21 发布
最新推荐文章于 2024-05-27 17:49:21 发布
阅读量473 收藏 4
点赞数 1
分类专栏： 大数据 # Clickhouse 文章标签： clickhouse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39945938/article/details/114280407
版权

跟着官网学clickhouse

一、简介

Clickhouse是Yandex在2016年6月15日开源的一个分布式列式的实时olap数据仓库，支持索引，并行化运行，大单表查询性能极佳；多个大厂包括阿里、腾讯、美团都在使用clickhouse。

二、安装

版本：
操作系统：
CentOS Linux release 7.6.1810 (Core)
Clickhouse：
最新稳定版

1 安装仓库和包管理工具yum-utils

sudo yum install -y yum-utils

在这里插入图片描述

2 导入clickhouse秘钥

sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG

在这里插入图片描述

3 添加clickhouse仓库

sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/clickhouse.repo

在这里插入图片描述

4 安装clickhouse服务端和客户端

sudo yum install -y clickhouse-server clickhouse-client

在这里插入图片描述
在这里插入图片描述

5 启动clickhouse服务端

注意：官方命令无法启动

sudo /etc/init.d/clickhouse-server start

在这里插入图片描述
启动命令修改为如下可以正常启动

systemctl start clickhouse-server.service

在这里插入图片描述

6 以交互式命令行模式启动clickhouse客户端

clickhouse-client

在这里插入图片描述

7 helloworld

select 1;

在这里插入图片描述

三、示例运行

1 创建数据库

CREATE DATABASE IF NOT EXISTS tutorial;

在这里插入图片描述

show databases;

在这里插入图片描述

use tutorial;

在这里插入图片描述

2 创建测试表

2.1 退出当前客户端，以多行模式重新启动客户端

客户端默认以单行模式启动，创建表需要执行多行sql，所以这里需要先退出客户端，再以多行模式启动客户端

exit
clickhouse-client -m
use tutorial;

在这里插入图片描述

2.2 执行2个建表sql

CREATE TABLE tutorial.hits_v1
(
    `WatchID` UInt64,
    `JavaEnable` UInt8,
    `Title` String,
    `GoodEvent` Int16,
    `EventTime` DateTime,
    `EventDate` Date,
    `CounterID` UInt32,
    `ClientIP` UInt32,
    `ClientIP6` FixedString(16),
    `RegionID` UInt32,
    `UserID` UInt64,
    `CounterClass` Int8,
    `OS` UInt8,
    `UserAgent` UInt8,
    `URL` String,
    `Referer` String,
    `URLDomain` String,
    `RefererDomain` String,
    `Refresh` UInt8,
    `IsRobot` UInt8,
    `RefererCategories` Array(UInt16),
    `URLCategories` Array(UInt16),
    `URLRegions` Array(UInt32),
    `RefererRegions` Array(UInt32),
    `ResolutionWidth` UInt16,
    `ResolutionHeight` UInt16,
    `ResolutionDepth` UInt8,
    `FlashMajor` UInt8,
    `FlashMinor` UInt8,
    `FlashMinor2` String,
    `NetMajor` UInt8,
    `NetMinor` UInt8,
    `UserAgentMajor` UInt16,
    `UserAgentMinor` FixedString(2),
    `CookieEnable` UInt8,
    `JavascriptEnable` UInt8,
    `IsMobile` UInt8,
    `MobilePhone` UInt8,
    `MobilePhoneModel` String,
    `Params` String,
    `IPNetworkID` UInt32,
    `TraficSourceID` Int8,
    `SearchEngineID` UInt16,
    `SearchPhrase` String,
    `AdvEngineID` UInt8,
    `IsArtifical` UInt8,
    `WindowClientWidth` UInt16,
    `WindowClientHeight` UInt16,
    `ClientTimeZone` Int16,
    `ClientEventTime` DateTime,
    `SilverlightVersion1` UInt8,
    `SilverlightVersion2` UInt8,
    `SilverlightVersion3` UInt32,
    `SilverlightVersion4` UInt16,
    `PageCharset` String,
    `CodeVersion` UInt32,
    `IsLink` UInt8,
    `IsDownload` UInt8,
    `IsNotBounce` UInt8,
    `FUniqID` UInt64,
    `HID` UInt32,
    `IsOldCounter` UInt8,
    `IsEvent` UInt8,
    `IsParameter` UInt8,
    `DontCountHits` UInt8,
    `WithHash` UInt8,
    `HitColor` FixedString(1),
    `UTCEventTime` DateTime,
    `Age` UInt8,
    `Sex` UInt8,
    `Income` UInt8,
    `Interests` UInt16,
    `Robotness` UInt8,
    `GeneralInterests` Array(UInt16),
    `RemoteIP` UInt32,
    `RemoteIP6` FixedString(16),
    `WindowName` Int32,
    `OpenerName` Int32,
    `HistoryLength` Int16,
    `BrowserLanguage` FixedString(2),
    `BrowserCountry` FixedString(2),
    `SocialNetwork` String,
    `SocialAction` String,
    `HTTPError` UInt16,
    `SendTiming` Int32,
    `DNSTiming` Int32,
    `ConnectTiming` Int32,
    `ResponseStartTiming` Int32,
    `ResponseEndTiming` Int32,
    `FetchTiming` Int32,
    `RedirectTiming` Int32,
    `DOMInteractiveTiming` Int32,
    `DOMContentLoadedTiming` Int32,
    `DOMCompleteTiming` Int32,
    `LoadEventStartTiming` Int32,
    `LoadEventEndTiming` Int32,
    `NSToDOMContentLoadedTiming` Int32,
    `FirstPaintTiming` Int32,
    `RedirectCount` Int8,
    `SocialSourceNetworkID` UInt8,
    `SocialSourcePage` String,
    `ParamPrice` Int64,
    `ParamOrderID` String,
    `ParamCurrency` FixedString(3),
    `ParamCurrencyID` UInt16,
    `GoalsReached` Array(UInt32),
    `OpenstatServiceName` String,
    `OpenstatCampaignID` String,
    `OpenstatAdID` String,
    `OpenstatSourceID` String,
    `UTMSource` String,
    `UTMMedium` String,
    `UTMCampaign` String,
    `UTMContent` String,
    `UTMTerm` String,
    `FromTag` String,
    `HasGCLID` UInt8,
    `RefererHash` UInt64,
    `URLHash` UInt64,
    `CLID` UInt32,
    `YCLID` UInt64,
    `ShareService` String,
    `ShareURL` String,
    `ShareTitle` String,
    `ParsedParams` Nested(
        Key1 String,
        Key2 String,
        Key3 String,
        Key4 String,
        Key5 String,
        ValueDouble Float64),
    `IslandID` FixedString(16),
    `RequestNum` UInt32,
    `RequestTry` UInt8
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(EventDate)
ORDER BY (CounterID, EventDate, intHash32(UserID))
SAMPLE BY intHash32(UserID);

CREATE TABLE tutorial.visits_v1
(
    `CounterID` UInt32,
    `StartDate` Date,
    `Sign` Int8,
    `IsNew` UInt8,
    `VisitID` UInt64,
    `UserID` UInt64,
    `StartTime` DateTime,
    `Duration` UInt32,
    `UTCStartTime` DateTime,
    `PageViews` Int32,
    `Hits` Int32,
    `IsBounce` UInt8,
    `Referer` String,
    `StartURL` String,
    `RefererDomain` String,
    `StartURLDomain` String,
    `EndURL` String,
    `LinkURL` String,
    `IsDownload` UInt8,
    `TraficSourceID` Int8,
    `SearchEngineID` UInt16,
    `SearchPhrase` String,
    `AdvEngineID` UInt8,
    `PlaceID` Int32,
    `RefererCategories` Array(UInt16),
    `URLCategories` Array(UInt16),
    `URLRegions` Array(UInt32),
    `RefererRegions` Array(UInt32),
    `IsYandex` UInt8,
    `GoalReachesDepth` Int32,
    `GoalReachesURL` Int32,
    `GoalReachesAny` Int32,
    `SocialSourceNetworkID` UInt8,
    `SocialSourcePage` String,
    `MobilePhoneModel` String,
    `ClientEventTime` DateTime,
    `RegionID` UInt32,
    `ClientIP` UInt32,
    `ClientIP6` FixedString(16),
    `RemoteIP` UInt32,
    `RemoteIP6` FixedString(16),
    `IPNetworkID` UInt32,
    `SilverlightVersion3` UInt32,
    `CodeVersion` UInt32,
    `ResolutionWidth` UInt16,
    `ResolutionHeight` UInt16,
    `UserAgentMajor` UInt16,
    `UserAgentMinor` UInt16,
    `WindowClientWidth` UInt16,
    `WindowClientHeight` UInt16,
    `SilverlightVersion2` UInt8,
    `SilverlightVersion4` UInt16,
    `FlashVersion3` UInt16,
    `FlashVersion4` UInt16,
    `ClientTimeZone` Int16,
    `OS` UInt8,
    `UserAgent` UInt8,
    `ResolutionDepth` UInt8,
    `FlashMajor` UInt8,
    `FlashMinor` UInt8,
    `NetMajor` UInt8,
    `NetMinor` UInt8,
    `MobilePhone` UInt8,
    `SilverlightVersion1` UInt8,
    `Age` UInt8,
    `Sex` UInt8,
    `Income` UInt8,
    `JavaEnable` UInt8,
    `CookieEnable` UInt8,
    `JavascriptEnable` UInt8,
    `IsMobile` UInt8,
    `BrowserLanguage` UInt16,
    `BrowserCountry` UInt16,
    `Interests` UInt16,
    `Robotness` UInt8,
    `GeneralInterests` Array(UInt16),
    `Params` Array(String),
    `Goals` Nested(
        ID UInt32,
        Serial UInt32,
        EventTime DateTime,
        Price Int64,
        OrderID String,
        CurrencyID UInt32),
    `WatchIDs` Array(UInt64),
    `ParamSumPrice` Int64,
    `ParamCurrency` FixedString(3),
    `ParamCurrencyID` UInt16,
    `ClickLogID` UInt64,
    `ClickEventID` Int32,
    `ClickGoodEvent` Int32,
    `ClickEventTime` DateTime,
    `ClickPriorityID` Int32,
    `ClickPhraseID` Int32,
    `ClickPageID` Int32,
    `ClickPlaceID` Int32,
    `ClickTypeID` Int32,
    `ClickResourceID` Int32,
    `ClickCost` UInt32,
    `ClickClientIP` UInt32,
    `ClickDomainID` UInt32,
    `ClickURL` String,
    `ClickAttempt` UInt8,
    `ClickOrderID` UInt32,
    `ClickBannerID` UInt32,
    `ClickMarketCategoryID` UInt32,
    `ClickMarketPP` UInt32,
    `ClickMarketCategoryName` String,
    `ClickMarketPPName` String,
    `ClickAWAPSCampaignName` String,
    `ClickPageName` String,
    `ClickTargetType` UInt16,
    `ClickTargetPhraseID` UInt64,
    `ClickContextType` UInt8,
    `ClickSelectType` Int8,
    `ClickOptions` String,
    `ClickGroupBannerID` Int32,
    `OpenstatServiceName` String,
    `OpenstatCampaignID` String,
    `OpenstatAdID` String,
    `OpenstatSourceID` String,
    `UTMSource` String,
    `UTMMedium` String,
    `UTMCampaign` String,
    `UTMContent` String,
    `UTMTerm` String,
    `FromTag` String,
    `HasGCLID` UInt8,
    `FirstVisit` DateTime,
    `PredLastVisit` Date,
    `LastVisit` Date,
    `TotalVisits` UInt32,
    `TraficSource` Nested(
        ID Int8,
        SearchEngineID UInt16,
        AdvEngineID UInt8,
        PlaceID UInt16,
        SocialSourceNetworkID UInt8,
        Domain String,
        SearchPhrase String,
        SocialSourcePage String),
    `Attendance` FixedString(16),
    `CLID` UInt32,
    `YCLID` UInt64,
    `NormalizedRefererHash` UInt64,
    `SearchPhraseHash` UInt64,
    `RefererDomainHash` UInt64,
    `NormalizedStartURLHash` UInt64,
    `StartURLDomainHash` UInt64,
    `NormalizedEndURLHash` UInt64,
    `TopLevelDomain` UInt64,
    `URLScheme` UInt64,
    `OpenstatServiceNameHash` UInt64,
    `OpenstatCampaignIDHash` UInt64,
    `OpenstatAdIDHash` UInt64,
    `OpenstatSourceIDHash` UInt64,
    `UTMSourceHash` UInt64,
    `UTMMediumHash` UInt64,
    `UTMCampaignHash` UInt64,
    `UTMContentHash` UInt64,
    `UTMTermHash` UInt64,
    `FromHash` UInt64,
    `WebVisorEnabled` UInt8,
    `WebVisorActivity` UInt32,
    `ParsedParams` Nested(
        Key1 String,
        Key2 String,
        Key3 String,
        Key4 String,
        Key5 String,
        ValueDouble Float64),
    `Market` Nested(
        Type UInt8,
        GoalID UInt32,
        OrderID String,
        OrderPrice Int64,
        PP UInt32,
        DirectPlaceID UInt32,
        DirectOrderID UInt32,
        DirectBannerID UInt32,
        GoodID String,
        GoodName String,
        GoodQuantity Int32,
        GoodPrice Int64),
    `IslandID` FixedString(16)
)
ENGINE = CollapsingMergeTree(Sign)
PARTITION BY toYYYYMM(StartDate)
ORDER BY (CounterID, StartDate, intHash32(UserID), VisitID)
SAMPLE BY intHash32(UserID);

2.3 查看创建的表

这里如果查询不到表可以检查一下数据库名是不是之前创建的数据库名

show tables;
exit;

在这里插入图片描述
退出客户端

3 下载测试数据

curl https://datasets.clickhouse.tech/hits/tsv/hits_v1.tsv.xz | unxz --threads=`nproc` > hits_v1.tsv

curl https://datasets.clickhouse.tech/visits/tsv/visits_v1.tsv.xz | unxz --threads=`nproc` > visits_v1.tsv

我这里大概10分钟下载完毕
在这里插入图片描述

4 导入数据到上面创建的表

clickhouse-client --query "INSERT INTO tutorial.hits_v1 FORMAT TSV" --max_insert_block_size=100000 < hits_v1.tsv
clickhouse-client --query "INSERT INTO tutorial.visits_v1 FORMAT TSV" --max_insert_block_size=100000 < visits_v1.tsv

在这里插入图片描述

5 优化存储（可选）

导入完成后有一个可选操作是优化存储

clickhouse-client --query "OPTIMIZE TABLE tutorial.hits_v1 FINAL"
clickhouse-client --query "OPTIMIZE TABLE tutorial.visits_v1 FINAL"

在这里插入图片描述

6 查询数量

clickhouse-client --query "SELECT COUNT(*) FROM tutorial.hits_v1"
clickhouse-client --query "SELECT COUNT(*) FROM tutorial.visits_v1"

在这里插入图片描述

7 执行示例查询

多行交互式启动客户端

clickhouse-client -m

执行sql

SELECT
    StartURL AS URL,
    AVG(Duration) AS AvgDuration
FROM tutorial.visits_v1
WHERE StartDate BETWEEN '2014-03-23' AND '2014-03-30'
GROUP BY URL
ORDER BY AvgDuration DESC
LIMIT 10;

在这里插入图片描述
执行第二个示例sql

SELECT
    sum(Sign) AS visits,
    sumIf(Sign, has(Goals.ID, 1105530)) AS goal_visits,
    (100. * goal_visits) / visits AS goal_percent
FROM tutorial.visits_v1
WHERE (CounterID = 912887) AND (toYYYYMM(StartDate) = 201403) AND (domain(StartURL) = 'yandex.ru');

在这里插入图片描述

虽然数据量不大，不过仍旧可以看到性能非常出色

参考链接

官方文档：https://clickhouse.tech/#quick-start

终回首
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ClickHouse 数据库 Quick Start
禅与计算机程序设计艺术
11-23 9678
安装ClickHouseMac OS wget 'https://builds.clickhouse.com/master/macos/clickhouse' chmod a+x ./clickhouse ./clickhouse Ubuntu sudo apt-get install apt-transport-https ca-certificates dirmngr sudo apt-ke...
ClickHouse快速入门
qq_43528451的博客
04-21 2990
ClickHouse快速入门 学习目标 1）、ClickHouse数据库概述、应用场景 OLAP分析技术框架比较 2）、ClickHouse 快速入门 安装部署、服务启动、基本client使用 3）、ClickHouse 快读体验 航班飞行数据，基本分组、聚合、排序查询，快、快、快 4）、ClickHouse SQL语法 SQL查询命令、INSERT语句、ALTER语句（间接实现更新和删除） 5）、ClickHouse 数据类型 常见使用 6）、ClickHouse 表存储引擎 日志引擎
clickhouse——clickhouse单节点部署及基础命令介绍
最新发布
zyjzyjjyzjyz的博客
05-27 730
clickhouse支持运行在主流的64位CPU架构的linux操作系统之上，可以通过源码编译，预编译压缩包，docker镜像和rpm等多种方式进行安装。
ClickHouse快速上手 入门+安装部署+使用教程 ClickHouse集群配置（分片+副本）列式数据库系统
alwarse
02-11 1523
ClickHouse快速上手 入门+安装部署+使用教程 ClickHouse集群配置（分片+副本） 列式数据库系统
Clickhouse官方测试数据集之visits hits
vkingnew 的技术博客
06-17 1505
1.概述 2.操作步骤： 3.数据测试： 4.结论： 参考： https://clickhouse.tech/docs/en/getting-started/example-datasets/metrica/
docker启动clickhouse
小谷的博客
05-19 353
docker安装单机clickhouse
SpringBoot2 整合 ClickHouse数据库案例解析
08-25
Druid 1.1.10版本开始支持ClickHouse的SQL解析。 - 必要的核心依赖是`clickhouse-jdbc`驱动，指定对应版本为0.1.53。 - 配置数据源，包括设置ClickHouse的driverClassName、url、初始化大小、最大活动连接数、最小...
基于ansible快速安装ClickHouse相关组件
06-25
ClickHouse是一款高性能的开源列式数据库管理系统（Column-Oriented DBMS），专为在线分析处理（OLAP）设计，能够处理海量数据并提供快速查询。在大数据领域，它以其优秀的性能和灵活性备受青睐。Ansible则是一种...
使用ClickHouse的机器学习——Machine Learning with ClickHouse.pdf
04-01
随着机器学习和人工智能的兴起，ClickHouse也开始应用于机器学习领域。下面是使用ClickHouse进行机器学习的一些知识点： 1. 数据加载：ClickHouse提供了多种方式来加载数据，例如从文件、网络请求、数据库等。对于...
ClickHouse可视化工具DBM-1.4.0-Mac
08-18
1. **数据浏览**：用户可以通过DBM直观地查看ClickHouse中的表结构和数据，支持数据筛选、排序和导出。 2. **SQL编辑器**：内置强大的SQL编辑器，支持编写、执行各种SQL语句，包括DDL（数据定义语言）用于创建、...
clickhouse测试数据hits_v1
09-07
clickhouse测试数据hits_v1
clickhouse本地启动
05-01
这时本地clickhouse的启动、关闭以及系列操作的个人分享
从0到1掌握大数据ClickHouse视频课程下载整理.zip
08-20
本课程将带你从0开始，逐步掌握如何使用ClickHouse处理大数据。 首先，我们要了解ClickHouse的基本概念。ClickHouse是一个开源的列式数据库管理系统（Column-Oriented DBMS），它设计的目标是快速地对大量结构化...
clickhouse数据库启动、重启、关闭、命令行模式、远程连接
ma286388309的博客
03-20 8069
client命令行连接-多命令行模式。client命令行执行sql文件。client命令行远程连接。启动Server服务。
clickhouse 常用命令
孤傲然的博客
07-01 842
clickhouse 版本升级、降级、导入导出数据
ClickHouse 实战：ClickHouse 安装与启动
SmartSi
05-05 952
ClickHouse 可以在任何具有 x86_64、AArch64 或 PowerPC64LE CPU 架构的 Linux、FreeBSD 或 Mac OS X 上运行。官方预构建的二进制文件通常针对 x86_64 进行编译并利用 SSE 4.2 指令集
MySQL+Redis+PostgreSQL+ClickHouse 启动关闭连接常用命令
qq_44700578的博客
01-11 1140
MySQL+Redis+PostgreSQL+ClickHouse 启动关闭连接常用命令
ru.yandex.clickhouse
12-13
如果你遇到了类似于"execute clickhouse Query Error ru.yandex.clickhouse.except.ClickHouseUnknownException"这样的错误，可能是由于ClickHouse服务器无法响应或者查询语句有误导致的。你可以检查查询语句是否...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值