梦想画家-CSDN博客

原创如何合理使用ClickHouse分区表

在Clickhouse中分区功能实现透明地将表拆分为多个块，并能够独立管理这些块(例如删除它们)。分区键应该始终为低基数表达式(如有几十个值)。不要仅为了提高查询性能而考虑分区，同时也要注意到分区表数据写入性能可能会降低。

2023-04-20 09:20:08 6443

原创 ClickHouse自定义函数实例教程

通过函数封装复杂代码，可以在多个应用场景中复用通过给定输入参数，可以简化测试修改函数定义自动反应至所有函数调用，避免重复维护UDF可以消除重复工作，虽然强大，也不要过度滥用。

2023-04-19 08:13:53 4052

ClickHouse提供数学函数、聚集函数用于对大数据量进行探索性分析。，效率更高，通常用于数据分析的初始阶段。min(), max(), avg() and median() 最常用的几个聚集函数avgWeighted(col, weights) 计算加权平均quantile(level)(col) 计算分位数histogram(bins)(col) and bar() 计算并画直方图skewPop(col) 计算偏度，判断数据是否对称uniq(col) 近似唯一值计算。

2023-04-17 16:30:16 2382

原创如何合理选择ClickHouse表主键

基于ClickHouse优化结构和排序数据，正确利用主键索引能节约资源，极大提升查询性能。选择计划在大多数查询中使用的列选择大部分查询需要的列，如主键包含3列，查询包括1列或2列如果查询不确定，首先使用低基数列，然后再使用高基数列，从而获得更好的压缩和提高磁盘利用率参考资料：https://medium.com/datadenys/how-clickhouse-primary-key-works-and-how-to-choose-it-4aaf3bf4a8b9。

2023-04-14 17:27:52 4403

原创优化Key顺序提升ClickHouse查询性能

如果不确定order键顺序，使用低基数列作为第一列，高基数列作为最后列，从而确保第二索引列的查询性能。参考文档：https://medium.com/datadenys/improving-clickhouse-query-performance-tuning-key-order-f406db7cfeb9。

2023-04-14 09:00:00 1395

原创如何给ClickHouse表生成随机真实测试数据

本文介绍了生成随机测试的函数，包括基本语法及一些数据分布函数的应用，这些函数需至少22.10版本。利用这些函数让数据更真实、更贴近实际业务场景。参考资料：https://clickhouse.com/blog/generating-random-test-distribution-data-for-clickhouse官方文档：https://clickhouse.com/docs/en/sql-reference/functions/random-functions#randuniform。

2023-04-13 21:31:13 1979

原创 Golang实现更安全的HTTP基本认证(Basic Authentication)

本文介绍了Go如何实现安全http基本认证，首先介绍原理，后面给出详细实现过程，最后通过curl和GO http客户端进行验证。详细内容参考：https://www.alexedwards.net/blog/basic-authentication-in-go。

2023-04-10 18:00:14 3195 2

原创 ClickHouse存储解析JSON数据

json数据在ClickHouse中就和string字段一样，但可以使用JSON*函数检查并抽取json键值。还可以使用抽取函数作为索引提升查询性能，但最好考虑将它们移动到单独的列中，只留下动态内容存储在JSON列中。参考：https://altinity.com/blog/clickhouse-json-data-type-version-22-6；

2023-03-30 21:18:57 6762

原创常用ClickHouse性能监控SQL汇总

ClickHosue对DBA非常友好，system数据库提供了所有DBA需要的信息。本文进行介绍最重要的一些SQL，远不是完整清单，但应该能帮助你快速确定问题。参考文档：https://clickhouse.com/blog/optimize-clickhouse-codecs-compression-schema；

2023-03-29 20:07:57 2102

原创 Golang1.18新特性介绍——泛型

泛型可以让更通用，无需给参数或返回值显示指定特定类型，如，写函数或结构体时，无需具体指定值的类型。具体值类型之后传入，从而避免大量冗余模板代码。泛型的目标就是消除模板代码。举例：反转数组函数无需知道数组元素类型，但如果不采用泛型则不能保障类型安全，或给每个具体类型重试实现同样逻辑，增加维护成本。

2023-03-27 22:10:20 1804

原创快速搞懂ClickHouse表引擎

表引擎在ClickHouse中扮演重要角色，直接决定如何存储、读取数据，是否支持并法读写，是否支持索引、查询类型、主从复制等。ClickHouse提供4类表引擎，分别支持不同场景。如Log系列用于小型表数据分析，MergeTree系列实现大型表数据分析，集成系列用于数据集成。考虑到这么多类型对于新用户经来说难以理解、也难以选择，本文试图对各类引擎进行整理，加深理解，希望对你也有帮助。另外复制系列和分布式表引擎比较复杂，未来再学习分享。

2023-03-24 20:24:50 1617

原创高效实施ClickHouse数据备份

本文介绍ClickHouse数据备份，包括手动实施，利用第三方工具(clickhouse-backup)实现。主要包括创建用户并授权，手动备份、自动备份。

2023-03-24 08:17:12 1765 1

原创 Golang 操作TSV文件实战教程

本文介绍TSV文件类型及其应用，同时介绍Golang语句读取TSV文件并转为struct的实现过程。

2023-03-19 19:24:53 883

原创 ClickHouse使用MySQL实现字典查询

外部字典是ClickHouse的一等公民，是Schema的一部分，我们可以使用本地DDL或 ON CLUSTER语句进行创建。实现细节多用户是透明的，它自动转换join查询为字典调用，用户体验及查询性能都值得我们去学习和使用。外部字典还有其他类型，如层次、多边形等字典，未来继续学习并分享。

2023-03-18 15:47:48 1663

原创 Golang httptest实战教程

本文介绍httptest包，可以很方便测试http服务端处理逻辑，以及模拟http服务端测试客户端请求逻辑。由于很方面模拟，从而可以把一组参数和期望值进行组合，循环进行测试并对比结果，可以极大地提升测试效率。

2023-03-14 15:20:11 849

原创 Golang 实现http协议的心跳检测程序

本文介绍如何使用Golang实现心跳程序。实现心跳程序，其他应用可以简单集成。客户端程序通过HTTP协议进行检测，返回当前程序状态、版本ID以及已运行时间。

2023-03-12 15:40:46 1863 1

原创 Golang编译选项(ldflags)有趣应用

本文介绍了git提交日志，如何在构建时给Go程序增加信息，如GIT提交日志、编译时间等信息。最后还顺便介绍了压缩可执行文件的选项。

2023-03-11 17:09:06 1900 2

原创 Golang使用gob序列化结构体教程

gob流是自描述的，这意味着我们不需要创建单独的文件来解释（使用protobuff格式需要创建文件）gob流中的每个数据项之前都有其类型说明(一些预定义的类型)

2023-02-28 16:30:51 1458

原创 Golang 处理parquet文件实战教程

Parquet是Apache基金会支持的项目，是面向列存储二进制文件格式。支持不同类型的压缩方式，广泛用于数据科学和大数据环境，如Hadoop生态。本文主要介绍Go如何生成和处理parquet文件。

2023-02-27 18:17:25 2031 1

原创介绍并比较Apache Hive支持的文件格式

本文介绍了Hive中支持的不同文件格式，了解并选择合适的文件格式对于大数据类应用非常重要。

2023-02-24 14:49:56 449

原创基于R语言理解Parquet文件格式

parquet特征后者支持有效存储、查询数据。假设有下列数据：如果存储为CSV文件，在R终端中看到的是文件存储格式的镜像，为行存储，可有效实现文件查询，如：只要定位到第二行并返回数据，另外追加行到数据集也很方便，仅需要在文件结尾增加一行。但如果想汇总age列数据，那么可能是低效的，因为需要变量每一行并确定那个值是age，再返回。parquet使用列存储，按列布局，列数据按顺序存储。使用该布局，执行下面查询也是不方便，但如果需要汇总所有age，则仅需要简单汇总第三行。读写parquet文件在R中，读

2023-02-24 13:58:19 1101

原创利用Golang pipe实现远程交互

pipe实现从一个进程重定向至另一个进程，它是双向数据通道，用于实现进行间通信。go version本文介绍了Golang管道的使用，除了实现远程命令交互，还介绍了获取标准输入内容、判断标准输入数据来源。读者组合这些简单示例，一定能够编写出炫酷的应用。

2023-02-23 10:37:51 1301

原创 Golang实现ttl机制保存内存数据

本文解释Golang如果实现ttl机制在内存存储自动失效数据。首先介绍时间戳原理，然后定义数据结构，并简单实现Set、Get、Del方法实现了ttl机制。未来再增加序列化功能：保存和恢复。参考实现：https://github.com/leprosus/golang-ttl-map。

2023-02-19 21:06:02 872

原创 Golang基于文件魔数判断文件类型

本文介绍了基于文件魔数判断文件类型的方法，主要涉及如何ReadSeek读取文件指定字节内容，然后介绍文件魔数，最后给出示例基于魔数判断文件类型。参考代码：https://github.com/telkomdev/go-filesig。

2023-02-16 21:23:56 1441 1

原创 RSA公钥加密机制跨语言应用实战

RSA, 即 Rivest–Shamir–Adleman,是非对称加密算法。不同于对称加密算法(如AES、DES)，它需要两个密钥，公钥可共享给任何人，用于加密信息；私钥仅我们自己保存，用于解密数据。X.509 是定义公钥证书格式的标准，用于描述公钥及其他信息。PKCS8 是存储私钥的标准。为了安全起见，可以使用对称加密算法对私钥再次进行加密。该标准不仅可以处理RSA私钥，还可以处理其他算法。PKCS8私钥通常通过PEM编码格式进行交换。

2023-02-12 20:12:46 1528

原创基于Golang哈希算法监控配置文件变化

数据加密算法规范非常复杂，在大多数应用场景中需要广泛研究。但Golang提供了专门的库，实现了许多流行的加密算法。本文演示了如何使用对配置文件进行监控，变化则重新加载配置文件。

2023-02-11 20:03:40 1029 1

原创 Golang实现AES对称加密算法示例教程

本文介绍Go如何实现对称加密，包括生成随机字符，Base64编码和解码，实现AES加密和解密，注意使用了内置的模块。

2023-02-09 22:12:51 4134 1

原创拦截信号优雅关闭Golang应用

本文介绍了信号的概念及常用信号，并给出了应用广泛的几个示例，例如优雅地关闭应用服务、在命令行应用中接收终止命令。

2023-01-31 09:45:58 1983 7

原创 Golang 插件开发入门教程

plugin包给编写复杂Go应用提供了很好的机制，通常编程接口很简单，插件可以基于接口有不同复杂实现。应用动态加载插件，让程序更灵活、易扩展。

2023-01-30 19:51:15 1862

原创 Golang filepath包常用方法介绍

本文介绍与文件路径相关包，该工具包位于path/filepath中，该包试图与目标操作系统定义的文件路径兼容。本文介绍一些常用函数，如获取文件绝对路径，获取文件名或目录名、遍历文件、分割文件路径、文件名模式匹配等函数，并给具体示例进行说明。

2023-01-29 17:43:14 3427

原创 Golang使用cron调度定时任务

cron v3是非常流行的包，它实现了cron规范，包括解析器和执行器。我们利用它调度任务在特定时间间隔执行。因为使用Go Modules，需要Go 1.11以上版本。v3版本是最新版本，修复之前版本的大量bug。cron表达式Field nameMandatorySecondsYes0-59* / , -MinutesYes0-59* / , -HoursYes0-23* / , -Yes1-31* / , -?

2023-01-28 20:19:13 2706 2

原创利用Golang可选参数实现可选模式

Floors intconst (return hHouse可能采用不同材料，有多层，并可能包括壁炉。NewHouse构造函数返回House指针，所有属性包括缺省值。正常情况下，首先构造House，然后根据不同需求修改属性值。使用函数可选参数，可以给构造函数传入一组修改器函数。首先定义函数类型，接受House这是可选函数的签名，下面定义一些可选函数用于修改*House上面每个函数是可选构造函数，返回另一个函数，带*House参数，没有返回值。我们看到返回的函数修改了*House实例的属性。

2023-01-26 13:19:57 1425

原创 Golang应用执行Shell命令实战教程

代替使用os.Stdout，还能通过实现io.Writer接口创建自定义写输出。再次运行程序，会获得下面的输出。到目前为止，我们已经学习了多种执行unix shell命令和与之交互的方法。当您希望执行通常不提供太多输出的简单命令时使用cmd.Output对于具有连续或长时间输出的函数应使用cmd.Run，并通过cmd.Stdout和cmd.Stdin与之交互在生产场景中，如果进程在给定时间内没有响应，须有超时并结束功能，可以使用取消上下文发送终止命令。

2023-01-25 21:05:31 4213

原创 Golang创建构造函数最佳实践

如果属性需要设置默认值或进行初始化，自定义构造函数可能会很有用。slices: 6,通过使用构造函数可以自定义实例创建过程：给字段设置缺省值，当然还可以利用可选参数方式给不同属性设置默认值。还可以执行合理性检查，如toppings是否为nil并初始化。可以利用make或new构造一些数据类型并更好控制内存和容量。

2023-01-19 15:43:57 2122

原创深入理解Golang Unix域socket通信

unix域socket和网络socket在安全性方面有差异。unix域比网络更安全，因为它不需要对外暴露给网络，进行在同一台服务器上的进程间通信。unix域仅使用文件系统权限去控制访问，指定用户和组创建socket文件并仅有权限的用户和组才能访问进程。这意味着仅收取进程能连接至socket和交互数据。相反，网络socket暴露在网络上并任何机器都可以连接并访问，很容易受到恶意用户（如黑客和恶意软件）的攻击。网络socket使用tcp/udp协议，这些协议有他们自己安全机制，如加密和认证。

2023-01-17 16:35:10 3606

原创如何创建PostgreSQL 生成列

PostgreSQL中生成列是从其他列计算而来的特殊列。生成列与普通列不同，不是固定的值，而是又引用表中其他列的表达式决定的。生成列在SQL标准（ISO/IEC 9075）中引入，被主流RDBMS支持，PostgreSQL12开始支持生成列。

2023-01-11 09:43:38 873

原创 Golang Makefile实战教程

Golang是开发大型项目的流行语言。较大的项目会有多人协作，并且需要持续的自动化构建。通过自动化开发、测试和发布等任务来简化构建过程，会带来更快、更可靠、更简单的开发体验。

2023-01-04 22:15:36 2043 3

原创 Golang 构造最佳随机密码

为了保护系统或数据安全，我们需要最佳随机密码。这里使用unix系统定义的文件设备，从中获取随机数生成器的种子。

2022-12-30 11:42:31 1677 6

原创 Golang Context 的几种应用场景

Golang context主要用于定义超时取消，取消后续操作，在不同操作中传递值。本文通过简单易懂的示例进行说明。

2022-12-27 17:00:24 1023

原创 Golang 构建解析URL对象

net/url包用于帮助维护和解析URL对象，URL结构包括必要字段，使用其String方法可以生成url的字符串形式。当需要在字符串形式的url中增加额外操作时，使用Parse函数把字符串转为URL结构类型，从而方便修改。在很多场景中，通过好用的工具操作URL对象比拼接字符串要方便的多。Go标准库提供了维护URL工具，本文通过示例介绍其主要功能。

2022-12-26 17:26:10 715

钻石示例数据，经典的机器学习示例数据，parquet格式、csv格式，方便用户下载学习

钻石示例数据，经典的机器学习示例数据，parquet格式、csv格式，方便用户下载学习。学习dbt资料，可参考系列博客：https://blog.csdn.net/neweastsun/category_12786252.html

2024-09-16

R实战综合指数评价法示例教程的示例数据

2022-01-08

Spring Cloud Spring Boot and Netflix OSS.pdf

2021-08-26

kafka学习资料合集

Apache Kafka Cookbook(PACKT,2015) kafka-definitive-guide-complete learning-apache-kafka-second-edition 学习kafka的最好资料，希望对你有用。

2020-09-22

嵌套聚集示例数据--nested-data.json

学习elasticsearch嵌套聚集所需的示例数据，方便学习者进行测试。关于城市宠物注册的web应用，系统包括下列一些实体： * City(city, type) * Citizen(occupation,age) * Pet(kind,name,age) city包括多个citizen，citizen包括多个注册pet。

2020-04-04

Elasticsearch Painless Script入门教程--示例数据-sat.json

Elasticsearch Painless Script入门教程--示例数据。自Elasticsearch 5.x 引入Painless，使得Elasticsearch拥有了安全、可靠、高性能脚本的解决方案。Painless是Elastic开发并做了专门的优化，相较之前的脚本更快、安全、易使用、可靠。 Painless脚本的目标是使编写脚本对用户来说无痛，特别是对于来自Java或Groovy环境的用户。可能你还不熟悉Elasticsearch脚本，让我们从基础开始。

2020-03-23

Elasticsearch Painless Script入门教程--示例数据-sat.json

2020-03-23

深入理解 significant terms 和 significant text 分组聚集代码 sports&news.json

深入理解 significant terms 和 significant text 分组聚集代码。地址：https://blog.csdn.net/neweastsun/article/details/104467440

2020-02-23

Elasticsearch聚合分析实战(2)-employees.json

Elasticsearch聚合分析实战(2) 博客地址：https://blog.csdn.net/neweastsun/article/details/104324747

2020-02-15

Effective Java 3rd Edition

Effective Java 3rd Edition,Effective Java 3rd EditionEffective Java 3rd EditionEffective Java 3rd EditionEffective Java 3rd EditionEffective Java 3rd Edition

2018-09-18

kettle生成xml示例

http://blog.csdn.net/neweastsun/article/details/52457290;文章的示例程序。

2016-09-07

YSJSW(Yet Another Java Service Wrapper)

YSJSW(Yet Another Java Service Wrapper) 可以配置java应用为windows服务。

2016-08-30

《在Tomcat上安装部署SAIKU》资源下载

Saiku是一个强大的独立工具，用于查询构建数据集市，如：即席查询报表、图表展示、导出报表成excel或csv格式等。Saiku是基于Mondrian OLAP引擎。本文主要是一步一步解释如何在tomcat下部署saiku，为了让你更好更快的使用。开始之前，假设你已经比较熟悉数据集市数据库，以及如何建立Mondrian Schema。

2015-02-10