- 博客(147)
- 收藏
- 关注
RSS订阅
原创 【一 简明数据分析进阶路径介绍（文章导航）】
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总、理解和消化，以最大化地开发数据的功能，从而发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
2024-02-22 10:32:08
826
1
原创 【保姆级教程-Centos7环境下部署Mysql并设置开机自启】
本教程系统指导在CentOS 7系统上完成MySQL 8.0环境的完整部署流程，适用于需要快速构建标准化MySQL数据库服务的技术人员，既可作为新手入门指南，也可供运维人员参考实施生产环境部署。
2025-04-30 10:47:30
272
原创 【保姆级教程-Centos7环境下部署postgresql15并设置开机自启】
本教程详细记录了在CentOS 7系统上从零部署PostgreSQL 15数据库的全流程
2025-04-30 10:31:31
388
原创 【Prometheus-OracleDB Exporter安装配置指南，开机自启】
本教程详细阐述了从零开始部署Oracle DB Exporter的全流程，涵盖环境准备、客户端安装、监控权限配置、服务化部署及故障排除等关键环节。通过标准化操作指引，帮助系统管理员快速构建Oracle数据库监控体系，实现关键性能指标的可视化采集。
2025-04-30 10:12:59
1614
2
原创 【保姆级教程-Centos7环境下部署Prometheus并设置开机自启】
本教程详细介绍了在Linux系统上安装、配置及启动Prometheus监控系统的完整流程，涵盖软件包解压、服务目录管理、Systemd服务配置、服务启停及状态验证等关键步骤。通过标准化部署流程，实现Prometheus作为系统级服务运行，并设置数据持久化存储及网络访问参数。
2025-04-29 17:26:50
497
原创 【Prometheus-Postgres Exporter安装配置指南，开机自启】
软件的解压与路径配置专用监控用户的创建与权限分配Systemd 服务文件的编写与启动服务状态验证及 Prometheus 集成配置。
2025-04-29 17:21:12
265
原创 【Prometheus-Mongodb Exporter安装配置指南，开机自启】
本教程详细演示了如何在Linux系统中部署MongoDB Exporter以监控MongoDB数据库，并将其集成到Prometheus监控体系。创建具备监控权限的MongoDB专用用户安装配置MongoDB Exporter二进制包创建Systemd服务实现守护进程管理配置Prometheus抓取Exporter指标基础服务管理命令演示。
2025-04-29 17:15:47
671
原创 【保姆级教程-Centos7环境下部署mongodb并设置开机自启】
本文介绍了如何在centos7环境下部署MongoDB 。启动 MongoDB 服务默认是没有账号密码的，即连接上即可进行各种操作。
2025-04-28 15:20:17
506
原创 【保姆级教程-Centos7环境下部署oracle19c并设置开机自启】
本文介绍了如何在centos7环境下部署Oracle19c，并设置开机自启
2025-04-28 09:30:20
963
原创 【一文读懂什么是智能体、工作流、大模型、RAG、提示词】
大模型（LLM）是基于深度学习的超大规模语言模型，利用庞大的文本数据集进行训练的机器学习模型，它具备生成自然流畅的语言文本以及准确理解语言文本深层语义的能力。大语言模型广泛应用于各种自然语言处理任务，包括但不限于文本分类、智能问答以及人机交互对话等，是 AI 领域的重要支柱之一。RAG 是一种结合检索和生成的技术，通过从外部知识库中检索相关信息，再由生成模型（如 GPT 系列）基于检索到的信息生成响应。给模型的一段文本指令。简单来说，就是我们向大模型提出问题、请求或描述任务时所使用的文字内容。
2025-04-22 16:29:41
1113
原创 COZE扣子-每日诗词有声阅读、插画推送
无论你是否有编程基础，都可以在扣子上快速搭建基于大模型的各类 AI 应用，并将 AI 应用发布到各个社交平台、通讯软件，也可以通过 API 或 SDK 将 AI 应用集成到你的业务系统中。智能体：智能体是基于对话的 AI 项目，它通过对话方式接收用户的输入，由大模型自动调用插件或工作流等方式执行用户指定的业务流程，并生成最终的回复。借助扣子提供的可视化设计与编排工具，你可以通过零代码或低代码的方式，快速搭建出基于大模型的各类 AI 项目，满足个性化需求、实现商业价值。传入诗词相关信息，让大模型生成提示词。
2025-03-31 14:58:34
473
原创 《Kettle保姆级教学-日志写入数据库（通过修改kettle.properties一劳永逸）》
第一步的方式只能对某个转换/作业生效，怎么做到所有的转换/作业都可以生效呢，这时候就需要修改kettle.properties文件。双击空白处，进入配置页面。可以看到日志已写入数据库。使用其他作业进行测试。
2025-02-26 16:32:35
391
原创 《Kettle保姆级教学-Carte集群搭建及启动使用》
Carte是轻量级的HTTP服务器（基于Jetty），后台运行，监听HTTP请求来运行一个作业。其也用于分布式和协调跨机器执行作业，也就是Kettle的集群。
2025-02-26 15:31:59
911
原创 《Kettle保姆级教学-性能调优，抽取速率提升800%》
通过优化Kettle的配置、调整转换步骤、优化SQL查询等，可以显著减少数据处理的时间，尤其是在处理大规模数据集时，性能提升的效果更加明显。还可以在现有的硬件资源下处理更多的数据，减少对额外硬件设备的需求，从而降低硬件成本。示例：堆8G（年轻代3G），Xss512k → (8-3)*1024/0.5 ≈ 10240线程。最大线程数 ≈ (Xmx - Xmn) / Xss。可显著提升批量操作和大数据查询效率。提交记录数量从1000提升至5000。
2025-02-19 16:14:52
1820
原创 Window环境安装PostgreSQL数据库
PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样，PostgreSQL也可以用许多方法扩展，例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。
2025-02-18 10:34:54
303
原创 《Kettle实操案例三（数据库全量迁移）》
将mysql库的所有表迁移至PostgreSQL数据库中，但是一张张表进行导出导入十分繁琐，利用kettle可以实现批量迁移，需事先在目的库中创建表结构。转换-获取记录各个组件配置如下，在表输入和表输出组件中使用变量${tablename}，进行动态抽取。转换-获取记录的各个组件配置如下，获取常量tab_name，传入变量${tablename}选择子作业-数据抽取，勾选【执行每一个输入行】，实现对每张表都进行数据抽取。转换-获取表名各个组件配置如下，获取源库所有的表名并复制到结果。
2025-02-18 10:17:58
942
原创 《Grafana进阶教程-使用百度地图》
Business Charts Panel是Business Suite中的一个组件。业务图表面板允许您将Apache ECarts库创建的图表和图形集成到Grafana仪表板中。Apache ECharts是一个功能强大、通用的数据可视化库，提供了广泛的图表类型，包括统计功能。它是用纯JavaScript编写的，基于zrender，一个用于图表渲染的轻量级图形库。Business Charts插件提供了一种简单的方法，可以将直观，交互式和高度可定制的图表添加到您的Grafana仪表板。
2025-02-12 10:29:00
868
原创 《存储过程的原理及实战应用》
存储过程（Stored Procedure）是用PL/SQL语言编写的能完成特定功能的程序单元，编译后存储在数据库字典中。声明部分（可选）可执行部分（必需）异常处理部分（可选）
2025-02-08 11:07:58
656
原创 SQL语言分类-DQL/DML/DDL/DCL
核心功能创建数据库对象（表、视图、索引、同义词、聚簇等）sql复制⚠️重要特性：DDL操作是隐性提交的，不可回滚（ROLLBACK无效）
2025-02-08 10:30:53
423
原创 《Kettle实操案例三（生成日期/月份序列，固化历史数据）》
对历史合同数做每月固化，历史合同数=count(合同id，where合同日期<=当月)，通过etl过程输出从2000年-2019年的每个月历史的合同总数。获取上个月最后一天的系统信息，传入SQL，获取在上个月最后一天之前的合同数量，存入目标表。表格:日期表DATE_TIME 两个字段 date(日期),id（合同id）因为是计算2000年到2019年的数据，所以过滤数据，确保最大日期在此之前。因为是计算2000年到2019年的数据，值设置为2000-01。结果表 三个字段:年月，历史合同数，日期标志位。
2025-02-08 10:07:07
1084
原创 《Kettle实操案例二（前置任务判断与邮件发送）》
从客户ERP系统取数，客户ERP会有一个批处理任务，每天3：00-12：00间结束，期间不能处理数据，只能在结束之后进行数据抽取。ERP的批处理任务完成后，会在erp_etl_log表的last_update_time字段记录完成时间。（2）将数据抽取开始时间存入erp_etl_log表的etl_process_time字段。（3）前置批处理任务未完成时发送未完成邮件提醒，前置批处理任务完成时发送完成提醒。通过${update_flag}变量判断批任务是否完成，完成为1，反之为0。抽取数据，插入目标表。
2025-02-08 09:33:11
429
原创 《Kettle实操案例一（全量/增量更新与邮件发送）》
有两张数据表，tableA(源表)，tableB(目标表)，存在不同的数据库中，现在需使用kettle作为ETLI具将tableA里的数据抽取至tableB里并记录日志信息。要求:(1)目标表无数据时，使用全量更新实现数据抽取;(2)目标表有数据时，使用增量更新实现数据抽取;(3)将转换名称、执行日期(单位/天)，转换执行时长(单位/秒)，目标表抽取前行数，目标表抽取后行数，执行开始时间，执行结束时间插入日志表；(4)执行结果发送到指定邮箱
2025-02-07 16:34:06
1337
原创 《Grafana进阶教程-使用Apache ECharts图表》
数据可视化在过去的几年中得到了长足的发展。开发者对于可视化产品的期待不再是简单的图表创建工具，而在交互、性能、数据处理等方面有了更高级的需求。Apache ECharts由百度前端团队开发和维护，提供了一个快速构建基于Web的可视化图表的声明式框架。它可以在PC和移动设备上流畅运行，并兼容当前绝大部分浏览器（如IE9/10/11, Chrome, Firefox, Safari等）。Apache ECharts底层依赖矢量图形库ZRender，能够生成直观、交互丰富、可高度个性化定制的数据可视化图表。
2025-02-07 15:23:36
1156
原创 《Kettle保姆级教学-变量图文详解》
变量是在Kettle转换或作业中用于存储临时数据的一种机制。与参数不同，变量通常用于在转换或作业的当前执行过程中存储和传递数据，而不是用于控制转换或作业的行为。变量可以是全局变量（在整个转换或作业中可用）或局部变量（仅在特定步骤或作业项中可用）。在Kettle的转换或作业设置界面中，可以通过“变量”选项卡来定义全局变量。在转换的步骤或作业项中，也可以通过特定的步骤或作业项来定义局部变量。
2025-02-06 15:18:08
1438
原创 《Kettle保姆级教学-作业控件w字图文详解》
Kettle 是一个开源的 ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。
2025-02-06 15:04:14
1050
原创 《Kettle保姆级教学-转换控件2w字图文详解》
Kettle 是一个开源的 ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。
2025-02-06 10:28:14
2553
原创 《Kettle保姆级教学-界面介绍》
Kettle是一个开源的ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。在2006年被Pentaho公式收购后，重命名为。
2025-02-05 17:14:25
1166
原创 《Kettle保姆级教学-核心概念解析》
在介绍Kettle 核心概念之前，需要先了解什么是ETL。ETL是Extract（提取）Transform（转换）和Load（加载）的缩写，是数据集成中的一个常见过程。它描述了从多个数据源获取数据并将其转化成适合目标系统使用的格式的过程。ETL 广泛应用于数据仓库建设、数据清洗、数据迁移、数据集成等场景，帮助企业从不同来源汇聚、整理并加载数据，以便进行进一步的分析和决策。Kettle是一个开源的ETL。
2025-02-05 17:00:14
1142
原创 《Kettle保姆级教学-安装配置》
Kettle是一个开源的ETL（Extract, Transform, Load，提取、转换、加载）工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment，广泛应用于数据集成、数据清洗、数据迁移等领域。它的名字“Kettle”源自其“装置”功能的含义，即“把各种数据源像水一样提取出来并进行处理”。在2006年被Pentaho公式收购后，重命名为。
2025-02-05 16:55:28
1788
2
原创 【三 （6）数据处理工具之 pandas与sql对应关系（帮助sql使用者快速上手pandas）】
本页旨在提供一些如何使用pandas执行各种SQL操作的示例，来帮助SQL使用者快速上手使用pandas。
2025-01-09 15:34:20
1319
原创 pyfink1.20版本下实现消费kafka中数据并实时计算
从kafka的demo获取消息，并将其中的b字段存入kafka的test_kafka_topic内，并打印sum(b)的值。查看往test_kafka_topic插入的b字段数据已被消费。可以看到sum(b)值已输出。
2024-12-12 17:35:33
735
原创 Centos7环境下安装Flink1.20
Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）。
2024-12-12 16:52:29
1219
原创 《Kettle实操案例四（mysql数据抽取至kafka/消费kafka数据存入mysql）》
Result fields：选择Get records from stream这个转换。事先在mysql中创建目标表以存放数据，也可以在该窗口点击SQL创建。Bootstrap servers:kafka集群中的ip及端口。Bootstrap servers:kafka集群中的ip及端口。consumer group：自定义。Messaage field：随便。操作选择Output value。Client ID:随便。Key field：随便。在sql窗口输入sql。Topic：拉下选择。
2024-12-06 15:16:44
1451
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人