王亭_666-CSDN博客

原创贪心算法介绍（Greedy Algorithm）

贪心算法是一种在每一步选择中都采取当前最优解的策略，以期望构建出全局最优解的算法。它的核心思想是“贪心选择性质”，即在每个决策点上，基于当前信息选择最有利的选项，从而希望通过这些局部最优决策累积成全局最优解。贪心算法的实现通常简单直接，易于编码，且执行效率高，这使得它在需要快速响应的大规模问题中非常有用。贪心算法的关键在于其贪心策略的选择，这通常涉及到对问题结构的深入理解。在某些问题中，贪心算法能够保证找到最优解，特别是当问题具有最优子结构和贪心选择性质时。

2024-08-14 17:08:23 1427

原创使用Ckman部署ClickHouse集群介绍

ClickHouse Manager是一个为ClickHouse数据库量身定制的管理工具，它是由擎创科技数据库团队主导研发的一款用来管理和监控ClickHouse集群的可视化运维工具。目前该工具已在github上开源，开源地址为：github.com/housepower/ckman。它通过提供一个直观的图形用户界面(GUI)，极大地简化了数据库的管理和操作。这款工具支持多种功能，包括但不限于SQL查询编辑器、数据可视化、实时监控、性能分析、备份与恢复等。

2024-07-03 16:10:07 979

原创大模型之-Seq2Seq介绍

Seq2Seq（Sequence to Sequence）模型在文本摘要任务中的应用与其在机器翻译中的应用有很多相似之处。文本摘要的目标是从一个长文本中生成一个简短的、语义上等价的摘要。与机器翻译类似，Seq2Seq模型通过编码器和解码器的组合来实现这个任务。编码器（Encoder）编码器将输入的长文本编码成一个固定长度的上下文向量（Context Vector）。通常使用递归神经网络（RNN）、长短期记忆网络（LSTM）或门控循环单元（GRU）来处理输入文本。

2024-06-20 10:46:54 884

原创机器学习的分类

机器学习是人工智能的一个分支，它使计算机系统能够从数据中学习并做出决策或预测。机器学习（Machine Learning）是一种基于数据驱动的方法，旨在通过自动化的统计模型和算法从数据中学习和提取模式，以进行预测、分类和决策。其核心思想是通过训练数据构建模型，使其在面对新数据时能够准确进行预测和分类。

2024-06-13 18:32:50 4337

原创 Hudi之数据读写探究

操作类型I/O开销CPU开销写入吞吐量磁盘空间利用内存消耗并发处理能力网络开销INSERT-写入最低几乎无需计算吞吐量较高低低一般低BULK_INSERT-批量写需要更多I/O有一些计算需求吞吐量最高较低较低高低UPSERT-更新或写入最高需要较高的计算资源吞吐量最低高较高低高。

2024-05-29 16:40:09 1308

原创 Hudi之TimeLine（时间轴）原理概念

在Apache Hudi中，TimeLine是指，用于跟踪数据湖Hudi中数据的变化历史。TimeLine是Hudi的核心概念之一，用于管理和维护数据湖Hudi中各个数据集的变化历史。具体来说，TimeLine由一系列时间戳（timestamp）和相关的操作事件（如写入、更新、删除）组成，这些事件按时间顺序排列。每个数据集都有自己的TimeLine，用于记录该数据集的变化历史。通过TimeLine，用户可以追溯数据集的变化历史，了解数据是如何随着时间变化的。

2024-05-20 18:01:22 1076

原创 Nextcloud私有云盘-重新定义云存储体验

Nextcloud是一个开源的云存储和协作平台，旨在为个人用户、企业和团队提供安全、隐私保护的数据存储和共享解决方案。它允许您在不同设备之间同步、共享文件，提供了强大的协作工具和应用生态系统。：通过Nextcloud，您可以轻松地在不同设备之间同步和共享文件。无论是照片、视频、文档还是其他文件类型，都可以方便地访问和共享。：Nextcloud致力于保护您的数据安全和隐私。它提供端到端加密功能，确保您的数据在传输和存储过程中始终受到保护。

2024-05-10 17:52:20 3452

原创 Python-FastAPI框架使用介绍

FastAPI 关键特性1. **快速高效**：基于 Starlette 和 Pydantic 构建，具有高性能和低延迟的特点，支持异步处理请求，利用 Python 的协程提高并发性能。2. **简单易用**：使用标准的 Python 类型注解来定义 API 的输入和输出参数，无需编写大量的文档和验证代码。3. **自动生成文档**：通过访问 `/docs` 路径可以查看自动生成的交互式 API 文档，包含了每个端点的详细说明、请求和响应的模型结构以及示例请求和响应。4. **数据验证**：利用

2024-04-16 18:28:20 7896

原创 python多方式操作elasticsearch介绍

Elasticsearch DSL（Domain Specific Language 领域特定语言）是 Elasticsearch 官方提供的一个 Python 客户端库，它允许开发者以一种更加 Pythonic 和直观的方式与 Elasticsearch 进行交互和查询。DSL 不是一种编程语言，而是一种专门针对某一领域（如 Elasticsearch 查询语言）设计的语言。在 Elasticsearch 中，DSL 用于构建复杂的搜索查询、聚合操作和过滤条件。

2024-03-30 16:43:20 1528

原创 Python库-FuzzyWuzzy使用介绍

FuzzyWuzzy是一个 Python 库，旨在提供模糊字符串匹配的功能。它能够比较两个字符串之间的相似度，即使它们在拼写或格式上略有不同。通过使用各种算法和方法，如基于字符、基于单词的匹配，以及部分匹配和排序匹配等技术，FuzzyWuzzy 能够有效地处理文本数据中的拼写错误、近义词和重复项。这使得它在数据清洗、搜索功能、自动完成和信息抽取等场景中非常实用。FuzzyWuzzy 提供了简单易用的 API，使得开发者可以轻松地将其集成到自己的项目中，并快速实现字符串匹配和相似度比较的功能。

2024-03-28 19:34:00 80758

原创 Presto简介、部署、原理和使用介绍

Presto是由Facebook开发的一款开源的分布式SQL查询引擎，最初于2012年发布，并在2013年成为Apache项目的一部分；Presto 作为现在在企业中流行使用的即席查询框架，已经在不同的领域得到了越来越多的应用。Presto官方网站：https://prestosql.io/ Presto被广泛用作即席查询引擎，用户可以使用标准的SQL语句向Presto提交查询，并且能够在几秒钟或更短的时间内获取结果。

2024-02-28 17:48:47 5426

原创 IDC机房交换机核心技术与应用指南

交换机（Switch）是一种用于电脑网络的设备，它连接多个设备（如计算机、打印机、服务器等）到同一网络内，允许这些设备互相通信。交换机工作在OSI（开放式系统互联）模型的第二层，即数据链路层，这使得它能够使用物理设备的MAC（媒体访问控制）地址来传输数据。在基本层面上，交换机的功能是接收来自连接设备的数据包，并决定如何有效地将这些数据包转发到目的地。这通常是通过检查每个数据包的MAC地址来实现的。

2024-01-26 18:06:16 1862

原创 ZooKeeper中bin目录4个脚本执行文件详解

ZooKeeper中bin目录中有如下4个可执行脚本：这些脚本是 ZooKeeper 的一部分，用于管理和操作 ZooKeeper 实例。zkCleanup.sh：zkCli.sh：zkEnv.sh：zkServer.sh：下文将逐个详细介绍4个 ZooKeeper 相关脚本的使用、参数、场景和注意事项连接到 ZooKeeper：创建节点：读取节点数据：参数介绍：接受连接参数，如 ZooKeeper 服务器地址。场景：用于与 ZooKeeper 交互、创建、读取、更新、删除节点等。脚本是 ZooKee

2023-12-12 17:36:55 1581

原创业务场景中Hive解析Json常用案例

json_serde库提供了一种在Hive中直接将JSON格式的数据解析成表的方式，可简化处理流程。现在希望建立一张表，使得表可以直接映射上数据文件hive中建表age int,将json文件上传至建表对应hdfs路径# 也可以通过hive的sql命令行直接load数据文件查看表数据验证可以看到数据文件8行记录，成功映射对应了hive中wangt_666_json表的8条数据。

2023-12-04 18:00:31 1413

原创 Greenplum管理和监控工具-gpcc-web介绍

1. **集群监控和状态**：`gpcc-web`提供了有关整个Greenplum数据库集群状态的实时信息。您可以查看主机、段、表空间等级别的性能数据、状态和报警信息。这有助于及时识别和解决性能问题。2. **查询性能监控**：您可以监视正在运行的查询的性能，包括查询执行计划、资源消耗和查询运行时间。这有助于识别潜在的性能瓶颈和优化查询。3. **备份和恢复管理**：`gpcc-web`允许您配置和监视数据库备份策略，并提供了还原数据库的功能。这有助于确保数据的备份和可恢复性。

2023-11-02 09:10:20 1535 2

原创入侵防御系统（IPS）网络安全设备介绍

IPS设备是网络安全的关键组成部分，用于检测和防止恶意攻击和入侵尝试。它们通过流量分析、签名检测和异常检测来实现这一目标，并可以采取各种防御措施。IPS设备还与其他安全设备集成，以提供全面的安全性和监控。然而，IPS设备也存在一些挑战和限制，需要不断演进以适应不断变化的网络威胁。在未来，IPS设备将继续发展，采用新技术来提高安全性和效率，以应对不断增加的网络威胁。

2023-10-07 17:34:44 13682 2

原创图数据库Nebula_Graph界面工具安装与使用

NebulaGraph Studio是一款可以通过 Web 访问的开源图数据库可视化工具，是 Nebula Graph 官方提供的图形用户界面（GUI）工具，它提供了更直观的方式来管理和查询图数据库。Nebula Studio 支持可视化的模式管理、数据查询、图可视化、数据导入导出等功能，使用户能够更轻松地操作数据库。 Nebula Graph Dashboard 是 Nebula Graph 数据库的可视化管理工具，它提供了一个直观的图形用户界面（GUI）来监控、管理和操作

2023-09-21 15:11:47 1840

原创 Nebula Graph图数据库教程介绍

Space（空间）在 Nebula Graph 中，Space 可以类比为数据库。就像关系型数据库中可以有多个数据库，Nebula Graph 中可以有多个 Space。每个 Space 可以看作是一个独立的数据存储区域，用于存储不同类型的数据。比喻Space 就像是一个大仓库，您可以在仓库中存放不同类型的货物，每个货物都有自己的存储区域。Tag（标签）和 Vertex（顶点）在 Nebula Graph 中，Tag 类似于表，而 Vertex 类似于表中的行。Tag 定义了一组属性

2023-09-14 11:56:10 3444

原创 SQL中的CASE WHEN语句：从基础到高级应用指南

SQL中的CASE WHEN语句是一种灵活的条件逻辑工具，用于查询中根据条件生成不同结果。它处理多种条件，可嵌套使用，适用于简单判断到复杂业务规则。无论数据转换还是业务分析，CASE WHEN都是不可或缺的工具。

2023-08-30 18:01:27 11838 1

原创 Python实现企业微信群告警

企业微信群机器人是一个强大的工具，用于实现监控告警和信息通知。机器人发送不同类型的消息通知，我们合理利用企业微信群机器人，可以提升团队的响应速度和业务稳定性，在实际工作中提升效率和效果。

2023-08-24 16:50:57 1906

原创（WAF）Web应用程序防火墙介绍

Web应用程序防火墙（WAF）在保护Web应用程序免受各种网络攻击方面发挥着关键作用。它通过监控、检测和防护恶意请求，提供了一道坚实的防线，保护用户数据、隐私和业务连续性。然而，要充分发挥其作用，WAF需要与其他安全措施结合使用，同时也需要管理员的定期维护和优化。通过综合的安全策略，可以实现强大的Web应用程序安全。 Web应用程序防火墙（WAF）是保护Web应用程序免受各种网络攻击的关键工具。

2023-08-23 17:40:14 3597

原创 MySQL实现数据炸裂拆分(类似Hive的explode函数的拆分数组功能)

在Hive中，"explode"函数用于将数组类型的列拆分为多行，以便对数组中的每个元素进行处理。然而，在MySQL中，并没有直接的类似功能。但是，我们可以使用一些技巧来模拟这个功能，实现在MySQL中拆分数组并进行查询的操作。本文将介绍如何在MySQL中实现类似Hive的"explode"函数的拆分数组功能。场景模拟：假设我们有一个名为`wow_info`的表，其中包含一个包含竖线分隔的数字列表的列`tianfu`，我们希望将每一种天赋拆分为多行进行查询。

2023-07-07 10:48:23 5504 1

原创阿里开业项目chat2DB-人工智能SQL分析介绍

下载安装包Chat2DB Setup 2.0.1.exe后，直接安装即可，界面非常简洁清晰配置完毕后，使用方式将改变成只需要描写需求即可chat2DB除可以AI智能SQL分析，还可以协助自动生成报表例如，wow_info表中，字段：zhuangbei，代表装备类型，有布甲、皮甲、板甲等等现在想去分析一下每种类型的占比情况在Charts栏中可以选择不同的指标，实现不同维度的数据。

2023-07-05 15:57:25 3649 1

原创 Hive中高频常用的函数和语法梳理及业务场景示例

函数在Hive中被广泛使用，可以用于数据清洗、转换、计算和分析等各种业务场景。根据具体的需求，选择合适的函数可以提高查询和处理数据的效率，并实现所需的功能

2023-06-29 17:09:45 1749

原创 Flink读写Doris操作介绍

Flink Doris Connector 可以支持通过 Flink 操作（读取、插入、修改、删除） Doris 中存储的数据。可以将 Doris 表映射为 DataStream 或者 Table。

2023-05-15 10:55:17 8870 4

原创 Doris的分区Partition和分桶Bucket介绍

Range分区是一种基于分区键对表进行分区的方式，分区键指的是表中的某一列，而Range则是指这个列的值的范围。使用Range分区，可以将数据按照列的值的范围进行划分，将数据分散到不同的节点上，以实现分布式存储和查询分区列通常为时间列，以方便的管理新旧数据Partition 支持通过仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。也支持通过指定上下界，生成一个左闭右开的区间当不使用Partition建表时，系统会自动生成一个和表名同名的，全值范围的 Partition。

2023-05-12 14:23:30 4579

监控yaml压缩包.zip

空空如也