庆祝我在CSDN上创作满四年:分享知识,共同成长 这一年对我来说既是挑战也是成长,我在这里记录了自己的技术探索和心得体会,也收获了来自社区的宝贵知识和友谊。我期待在接下来的旅程中,能够与大家分享更多,学习更多,成长更多。我通过评论和私信与许多读者进行了深入的讨论,这些交流极大地丰富了我的视野。写作过程中,我不仅巩固了自己的专业知识,还提高了表达和沟通的能力。更重要的是,我结识了许多志同道合的朋友。
ClickHouse基于数据分析常用函数 ClickHouse支持CTE(Common Table Expression,公共表达式),以增强查询语句的表达│ 4 ││ 16 │在改用CTE的形式后,可以极大地提高语句的可读性和维护性。WITH│ 16 │可以定义变量,这些变量能够在后续的查询子句中被直接访问。# tb_mysql- 创建数据id UInt8,age UInt8# 数据分析WITHSELECTnameFROMtb_mysql;
IDEA设置新建类注释、手动注释详解 1和6结合表示输入/*然后回车就可以自动补全注释模板;4对模板中的占位符变量进行赋值;5表示模板使用哪些文件,比如java(必须要设置)每次在一台新电脑安装idea,都需要重新设置idea注释配置,说常用吧,也就新安装时才用,时间久步骤容易忘记,所以用此文章记录一下。2、点击includes后在File Header后面的栏框中输入模板内容即可。此步骤讲解的是新建类的时候,类自动能带出配置好的模板注释。2、在此目录下新建一个组模版(例如:myGroup)此文章我们就用以下模板来进行讲解。
ClickHouse初级 - 第八章 用户行为分析实际案例 到此我们已经完成了基于ClickHouse最常见的的一些事件分析功能。最主要还是介绍了SQL的实现。其中缺少了标签画像相关的条件,这些内容则需要根据公司标签群组具体是表结构来实现SQL,最终可以通过in语句来将标签或者人群的数据当做条件。最后还有一大部分工作则是在前端交互的代码开发上,需要设计好返回的JSON。但是有了上面的基础,相信这些对你来说只是时间问题。事件分析路径分析session分析漏斗分析留存分析转载地址进一步案例sql查看。
ClickHouse初级 - 第七章 分片集群 1)在 hadoop102 的/etc/clickhouse-server/config.d 目录下创建 metrika-shard.xml 文件。注意:ClickHouse 的集群是表级别的,实际企业中,大部分做了高可用,但是没有用分 片,避免降低查询性能以及操作集群的复杂性。配置的位置还是在之前的/etc/clickhouse-server/config.d/metrika.xml,内容如下。4)在 hadoop102 上修改/etc/clickhouse-server/config.xml。
ClickHouse初级 - 第六章 副本 注意:我们演示副本操作只需要在 hadoop102 和 hadoop103 两台服务器即可,上面的操作,我们 hadoop104 可以你不用同步,我们这里为了保证集群中资源的一致性,做了同步。4)在hadoop102的/etc/clickhouse-server/config.xml中增加。分别在 hadoop102 和 hadoop103 上启动 ClickHouse 服务。6)在hadoop102和hadoop103上分别建表。3)同步到hadoop103和hadoop104上。
ClickHouse初级 - 第五章 SQL操作 由于操作比较“重”,所以 Mutation 语句分两步执行,同步执行的部分其实只是进行 新增数据新增分区和并把旧分区打上逻辑上的失效标记。基本上来说传统关系型数据库(以 MySQL 为例)的 SQL 语句,ClickHouse 基本都支持, 这里不会从头讲解 SQL 语法只介绍 ClickHouse 与标准 SQL(MySQL)不一致的地方。3)with cube : 从右至左去掉维度进行小计,再从左至右去掉维度进行小计。4)with totals: 只计算合计。同 MySQL 的修改字段基本一致。
ClickHouse初级 - 第三章 数据类型 例如,将固定精度的数字转换为整数值,如时间用毫秒为单位表示,因为浮点型进行计算时可能引起四舍五入的误差。➢ Datetime64 接受年-月-日 时:分:秒.亚秒的字符串比如‘2019-12-16 20:50:10.66’➢ Datetime 接受年-月-日 时:分:秒的字符串比如 ‘2019-12-16 20:50:10’1)日期类型,用两个字节存储,表示从 1970-01-01 (无符号) 到当前的日期值。➢ Decimal64(s),相当于Decimal(18-s,s),有效位数为1~18。
ClickHouse初级 - 第二章ClickHouse 的安装 2.2 将/2.资料/ClickHouse 下 4 个文件上传到 hadoop102 的 software/clickhouse 目录下。2)在 hadoop102 的/etc/security/limits.d/20-nproc.conf 文件的末尾加入以下内容。下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el7/1)在hadoop102的 /etc/security/limits.conf 文件的末尾加入以下内容。(3)重启三台服务器。
ClickHouse初级 - 第一章Clickhouse入门 clickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用c++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。
UML-认识6种箭头(画类图无烦恼) 文章目录一、背景二、箭头详解2.1 泛化(Generalization)2.2 实现(Realize)2.3 依赖(Dependency)2.4 关联(Association)2.5 聚合(Aggregation)2.6 组合(Composition)一、背景因公司需求需要看懂类图以及能独立上手画类图,因类图中的基础就是6大箭头,而且6大箭头概念有些模糊,所以就有了此文章二、箭头详解UML中描述对象和类之间相互关系的方式包括:依赖(Dependency),关联(Association),聚合(
mysql报错:mysql8插入sql关键字“rank”问题 通过insert语句直接在navicat插入也不行,说明不是项目的问题,经过一步步的排查后定义出是“rank”字段问题,将“rank”字段换成其他的名称就可以。2、如果是mysql5.7版本的话,rank作为字段是没有问题的(版本的问题),如果本地mysql是5版本不会报错,线上是mysql8就会报错。在设计表的需要定义一个排名的字段,于是定义了“rank”字段,使用mybatisplus进行插入的时候,项目报错。1、“rank”字段在mysql8中是一个新功能(关键字),所以不可以将其当作字段名;
spark报错java.lang.IllegalArgumentException: Can‘t get JDBC type for array<string> 2、原因:hive表中元素为数组类型,mysql不支持,需要将类型转换一下就可(比如转换成字符串等等)1、使用spark任务将hive中的表数据存入到mysql中报如下错误。3、方案:进行备份之前将hive中为数组类型的数据结构进行转换一下。
linux报错:cannot create temp file for here-document: No space left on device linux系统中使用cd命令进入某目录时,像往日一样利用tab键进行文件名的补全,结果报如下错误。最终定位是此目录下的两个logs文件比较大,如果文件删除没有影响的话,直接rm删除掉日志文件即可。5)可以看到是 ./var占用的空间比较大。ps:最开始时 /dev/dm-0 目录报错mounted on显示100%2)输入:df -h 命令查看磁盘占用情况。1)分析:通过翻译可知是磁盘已满。)后进入显示100%目录(
SpringBoot集成Freemarker模板生成Word文档,项目打成jar包到生产环境显示找不到模板文件 2、解决方案:注入FreeMarkerConfigurer配置类,因为freemarker模板的默认目录就在resourse下的templates目录下,使用freeMarkerConfigurer.getConfiguration().getTemplate(“word.ftl”)可直接获取到对应的模板文件。本人出错的代码大概如下所示:这块代码主要是testTemplate()方法中configuration通过模板名获取模板对象而服务,所以报错也是这行代码导致线上报错。
navicat连接mysql报错1251的解决方法 navicat连接mysql报错1251的解决方法1、新安装的mysql8,使用破解版的navicat连接的时候一直报错,如图所示:2、网上查找原因发现是mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password, 解决问题方法有两种,一种是升级navicat驱动,一种是把mysql用户登录密码加密规则还原成mysql_native_password. 由于用的是破解版的navicat,所以只能用第二种方法