大数据
文章平均质量分 87
懒惰的小白521
这个作者很懒,什么都没留下…
展开
-
ClickHouse基于数据分析常用函数
ClickHouse支持CTE(Common Table Expression,公共表达式),以增强查询语句的表达│ 4 ││ 16 │在改用CTE的形式后,可以极大地提高语句的可读性和维护性。WITH│ 16 │可以定义变量,这些变量能够在后续的查询子句中被直接访问。# tb_mysql- 创建数据id UInt8,age UInt8# 数据分析WITHSELECTnameFROMtb_mysql;原创 2024-02-02 23:45:18 · 1994 阅读 · 0 评论 -
ClickHouse初级 - 第八章 用户行为分析实际案例
到此我们已经完成了基于ClickHouse最常见的的一些事件分析功能。最主要还是介绍了SQL的实现。其中缺少了标签画像相关的条件,这些内容则需要根据公司标签群组具体是表结构来实现SQL,最终可以通过in语句来将标签或者人群的数据当做条件。最后还有一大部分工作则是在前端交互的代码开发上,需要设计好返回的JSON。但是有了上面的基础,相信这些对你来说只是时间问题。事件分析路径分析session分析漏斗分析留存分析转载地址进一步案例sql查看。原创 2023-12-19 20:48:44 · 1388 阅读 · 0 评论 -
ClickHouse初级 - 第七章 分片集群
1)在 hadoop102 的/etc/clickhouse-server/config.d 目录下创建 metrika-shard.xml 文件。注意:ClickHouse 的集群是表级别的,实际企业中,大部分做了高可用,但是没有用分 片,避免降低查询性能以及操作集群的复杂性。配置的位置还是在之前的/etc/clickhouse-server/config.d/metrika.xml,内容如下。4)在 hadoop102 上修改/etc/clickhouse-server/config.xml。原创 2023-12-18 14:25:24 · 1563 阅读 · 0 评论 -
ClickHouse初级 - 第六章 副本
注意:我们演示副本操作只需要在 hadoop102 和 hadoop103 两台服务器即可,上面的操作,我们 hadoop104 可以你不用同步,我们这里为了保证集群中资源的一致性,做了同步。4)在hadoop102的/etc/clickhouse-server/config.xml中增加。分别在 hadoop102 和 hadoop103 上启动 ClickHouse 服务。6)在hadoop102和hadoop103上分别建表。3)同步到hadoop103和hadoop104上。原创 2023-12-18 14:25:12 · 839 阅读 · 0 评论 -
ClickHouse初级 - 第五章 SQL操作
由于操作比较“重”,所以 Mutation 语句分两步执行,同步执行的部分其实只是进行 新增数据新增分区和并把旧分区打上逻辑上的失效标记。基本上来说传统关系型数据库(以 MySQL 为例)的 SQL 语句,ClickHouse 基本都支持, 这里不会从头讲解 SQL 语法只介绍 ClickHouse 与标准 SQL(MySQL)不一致的地方。3)with cube : 从右至左去掉维度进行小计,再从左至右去掉维度进行小计。4)with totals: 只计算合计。同 MySQL 的修改字段基本一致。原创 2023-12-18 14:24:59 · 870 阅读 · 0 评论 -
ClickHouse初级 - 第四章 表引擎的使用
2)向表中插入数据。原创 2023-12-18 14:24:48 · 1106 阅读 · 0 评论 -
ClickHouse初级 - 第三章 数据类型
例如,将固定精度的数字转换为整数值,如时间用毫秒为单位表示,因为浮点型进行计算时可能引起四舍五入的误差。➢ Datetime64 接受年-月-日 时:分:秒.亚秒的字符串比如‘2019-12-16 20:50:10.66’➢ Datetime 接受年-月-日 时:分:秒的字符串比如 ‘2019-12-16 20:50:10’1)日期类型,用两个字节存储,表示从 1970-01-01 (无符号) 到当前的日期值。➢ Decimal64(s),相当于Decimal(18-s,s),有效位数为1~18。原创 2023-12-18 14:24:35 · 968 阅读 · 0 评论 -
ClickHouse初级 - 第二章ClickHouse 的安装
2.2 将/2.资料/ClickHouse 下 4 个文件上传到 hadoop102 的 software/clickhouse 目录下。2)在 hadoop102 的/etc/security/limits.d/20-nproc.conf 文件的末尾加入以下内容。下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el7/1)在hadoop102的 /etc/security/limits.conf 文件的末尾加入以下内容。(3)重启三台服务器。原创 2023-12-18 14:24:22 · 809 阅读 · 0 评论 -
ClickHouse初级 - 第一章Clickhouse入门
clickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用c++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。原创 2023-12-18 14:24:08 · 915 阅读 · 0 评论 -
easyExcel与poi版本不兼容导致的后台报错问题
com.alibaba.excel.exception.ExcelAnalysisException: java.lang.NoClassDefFoundError: org/apache/poi/poifs/filesystem/FileMagic原创 2023-02-24 17:46:37 · 6132 阅读 · 0 评论 -
elasticSearch7版本文档中文属性模糊查询不准确
通过java模糊查询的api(QueryBuilders.fuzzyQuery)查询name为“已”的时候可以查询,查询为“已发布”的时候查询不出来。name":"catalog=Catalog(value=699015935012372480, displayName=/默认分组),3.1 给索引添加分词器(删除索引后,然后重新建立索引并设置分词器,如2中图所示)14:33:17)status:已发布”ps:索引中没设置分词器。ps:索引中设置分词器后。原创 2023-02-06 19:00:10 · 2557 阅读 · 0 评论 -
Scala(第十一章 泛型)
文章目录11.1 协变和逆变11.2 泛型上下限11.3 上下文限定11.1 协变和逆变1)语法class MyList[+T]{ //协变} class MyList[-T]{ //逆变}class MyList[T] //不变2)说明协变:Son 是 Father 的子类,则 MyList[Son] 也作为 MyList[Father]的“子类”。逆变:Son 是 Father 的子类,则 MyList[Son]作为 MyList[Father]的“父类”。不变:Son 是 Fa原创 2022-02-17 21:24:09 · 123 阅读 · 0 评论 -
Scala(第十章 隐式转换)
文章目录10.1 隐式函数10.2 隐式参数10.3 隐式类10.4 隐式解析机制当编译器第一次编译失败的时候,会在当前的环境中查找能让代码编译通过的方法,用于将类型进行转换,实现二次编译10.1 隐式函数1)说明隐式转换可以在不需改任何代码的情况下,扩展某个类的功能。2)案例实操需求:通过隐式转化为Int类型增加方法。class MyRichInt(val self: Int) { def myMax(i: Int): Int = { if (self < i) i e原创 2022-02-17 21:16:19 · 116 阅读 · 0 评论 -
Scala(第九章 异常)
文章目录9.1 Java异常处理9.2 Scala异常处理语法处理上和Java类似,但是又不尽相同9.1 Java异常处理public class ExceptionDemo { public static void main(String[] args) { try { int a = 10; int b = 0; int c = a / b; }catch (ArithmeticException e){// catch 时,需要将范围小的写到前面 e.printStackTr原创 2022-02-17 21:06:04 · 138 阅读 · 0 评论 -
Scala(第八章 模式匹配)
文章目录8.1 基本语法8.2 模式守卫8.3 模式匹配类型8.3.1 匹配常量8.3.2 匹配类型8.3.3 匹配数组8.3.4 匹配列表8.3.5 匹配元组8.3.6 匹配对象及样例类8.4 变量声明中的模式匹配8.5 for表达式中的模式匹配8.6 偏函数中的模式匹配(了解)8.1 基本语法8.2 模式守卫8.3 模式匹配类型8.3.1 匹配常量8.3.2 匹配类型8.3.3 匹配数组8.3.4 匹配列表8.3.5 匹配元组8.3.6 匹配对象及样例类8.4 变量声明中的模式匹配原创 2022-02-17 20:44:03 · 124 阅读 · 0 评论 -
Scala(第七章 集合)
文章目录7.1 集合简介7.1.1 不可变集合继承图7.1.2 可变集合继承图7.2 数组7.2.1 不可变数组7.2.2 可变数组7.2.3 不可变数组与可变数组的转换7.2.4 多维数组7.3 Seq集合(List)7.4 Set集合7.5 Map集合7.6 元组7.7 集合常用函数7.8 队列7.9 并行集合7.1 集合简介7.1.1 不可变集合继承图7.1.2 可变集合继承图7.2 数组7.2.1 不可变数组7.2.2 可变数组7.2.3 不可变数组与可变数组的转换7.2.4 多维数原创 2022-02-16 21:35:37 · 177 阅读 · 0 评论 -
Scala(第六章 面向对象)
文章目录6.1 Scala包6.1.1 包的命名6.1.2 包说明(包语句)6.1.3 包对象6.1.4 导包说明6.2 类和对象6.2.1 定义类6.2.2 属性6.3 封装6.3.1 访问权限6.3.2 方法6.3.3 创建对象6.3.4 构造器6.3.5 构造器参数6.4 继承与多态6.5 抽象类6.5.1 抽象属性和抽象方法6.5.2 匿名子类6.6 单例对象(伴生对象)6.6.1 单例对象语法6.6.2 apply方法6.7 特质(Trait)6.7.1 特质声明6.7.2 特质基本语法6.7.3原创 2022-02-15 14:09:25 · 675 阅读 · 0 评论 -
Scala(第五章 函数式编程)
文章目录5.1 函数基础5.1.1 函数基本语法5.1.2 函数和方法的区别5.1.3 函数定义5.1.4 函数参数5.1.5 函数至简原则(重点)5.2 函数高级5.2.1 高阶函数5.2.2 匿名函数5.2.3 高阶函数案例(集合再将)5.2.4 函数柯里化&闭包5.2.5 递归5.2.6 控制抽象5.2.7 惰性函数5.1 函数基础5.1.1 函数基本语法5.1.2 函数和方法的区别5.1.3 函数定义5.1.4 函数参数5.1.5 函数至简原则(重点)5.2 函数高级5.2.原创 2022-02-13 20:41:13 · 445 阅读 · 0 评论 -
Scala(第四章 流程控制)
文章目录4.1 分支控制 if - else4.1.1 单分支4.1.2 双分支4.1.3 多分支4.2 嵌套分支4.3 Switch分支结构4.4 For循环控制4.4.1 范围数据循环(To)4.4.2 范围数据循环(Until)4.4.3 循环守卫4.4.4 循环步长4.4.5 嵌套循环4.4.6 引入变量4.4.7 循环返回值4.4.8 倒序打印4.5 While 和 do..While 循环控制4.5.1 While循环控制4.5.2 do..while 循环控制4.6 循环中断4.7 多重循环原创 2022-02-10 15:02:45 · 664 阅读 · 0 评论 -
Scala(第三章 运算符)
文章目录3.1 算术运算符3.2 关系运算符(比较运算符)3.3 逻辑运算符3.4 赋值运算符3.5 位运算符3.6 Scala运算符本质Scala运算符的使用和Java运算符的使用基本相同,只有个别细节上不同。3.1 算术运算符1)基本语法(1)对于除号“/”,它的整数除和小数除是有区别的:整数之间做除法时,只保留整数部分而舍弃小数部分。(2)对一个数取模 a%b,和 Java 的取模规则一样。2)案例实操object TestArithmetic { def main(args原创 2022-02-09 16:41:14 · 703 阅读 · 0 评论 -
Scala(第二章 变量和数据类型)
文章目录2.1 注释2.2 变量和常量(重点)2.3 标识符的命名规范2.4 字符串输入2.5 键盘输入2.6 数据类型(重点)2.7 整型类型(Byte、Short、Int、Long)2.8 浮点类型(Float、Double)2.9 字符类型(Char)2.10 布尔类型:Boolean2.11 Unit类型、Null类型和Nothing类型(重点)2.12 类型转换2.12.1 数值类型自动转换2.12.2 强制类型转换2.12.3 数值类型和String类型间转换2.1 注释(1)Scala注原创 2022-02-09 14:32:46 · 442 阅读 · 0 评论