![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 57
小吴-斌
这个作者很懒,什么都没留下…
展开
-
liunx下安装Flink及使用
官网下载Flink官网下载Flink初始化mkdir -p /data/flinkmkdir -p /data/downloadcd /data/download安装Flinkwget https://mirrors.bfsu.edu.cn/apache/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgztar -zxvf flink-1.13.1-bin-scala_2.11.tgz -C /data/flink/# 配置环境变量v原创 2021-06-07 08:25:48 · 189 阅读 · 0 评论 -
ElasticSearch7安装过程以及遇到的坑
安装前准备centos7 +java 8 +elastic 7.6.0 +创建目录mkdir -p /data/esmkdir -p /data/downloadcd /data/download下载包和解压wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-linux-x86_64.tar.gz# 解压tar -zxvf elasticsearch-7.6.0-linux-x8原创 2021-06-04 09:51:54 · 1888 阅读 · 3 评论 -
Clickhouse 留存方法对比retention 和bitmapAndCardinality
最近在做留存统计,看了一篇使用位图函数写留存的,效率很高,所以跟同事说了下,同事测试了一下发现效率很高;表结构CREATE TABLE tb_book_chapter_request_record( `id` UInt64 COMMENT '自增ID', `uid` UInt64 COMMENT '用户ID', `bid` UInt64 COMMENT '书籍ID', `chapterno` UInt64 COMMENT '章节排序值', `client` UI原创 2021-06-01 12:04:46 · 1300 阅读 · 1 评论 -
clickhouse 数据模型之有序漏斗分析(windowFunnel)
什么是有序漏斗,有序漏斗需要满足所有用户事件链上的操作都是逡巡时间先后关系的,且漏斗事件不能有断层,触达当前事件层的用户也需要经历前面的事件层介绍windowFunnel搜索滑动时间窗中的事件链,并计算从链中发生的最大事件数。该函数采用如下算法:该函数搜索触发链中的第一个条件并将事件计数器设置为1。 这是滑动窗口启动的时刻。如果来自链的事件在窗口内顺序发生,则计数器将递增。 如果事件序列中断,则计数器不会增加。如果数据在不同的完成点具有多个事件链,则该函数将仅输出最长链的大小。语法wi.原创 2021-05-21 12:26:48 · 3154 阅读 · 2 评论 -
clickhouse 高阶函数retention查询留存语法、次日留存、三日留存、7日留存
clickhouse提供retention(cond1, cond2, …)函数方便计算用户留存率,当然也可以应用在其他需求上。建表CREATE TABLE default.login_log -- 用户登录日志(uid Int32, -- 用户唯一idlogin_time DateTime -- 用户登录时间) ENGINE = MergeTree PARTITION BY uid order by uid;插入测试数据-- 随意发挥就好insert into defa.原创 2021-05-21 11:59:53 · 3334 阅读 · 0 评论 -
Clickhouse创建数据库和创建表、增加表列
创建表# CREATE DATABASE [IF NOT EXISTS] database_name;CREATE DATABASE qx_tj;创建表# CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [compression_codec] [TTL expr1], name2 [type2] [D原创 2021-05-19 15:27:56 · 5121 阅读 · 1 评论 -
在CentOS下安装clickhouse
查看服务器信息more /etc/redhat-release# CentOS Linux release 7.6.1810 (Core)一:安装clickhouse官网地址:https://clickhouse.tech/#quick-startsudo yum install yum-utilssudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-re原创 2020-12-31 15:35:15 · 888 阅读 · 0 评论