- 博客(352)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 AI大模型的实际应用
主要介绍AI的实际使用场景，普通用户使用AI的方式主要是AIGC产品，企业应用一般是使用开源大模型训练或微调自己的模型，又称为定制化大模型，这是当前AI落地的主要路径。
2025-12-04 11:23:08
219
原创 TiDB数据库组件介绍和优缺点总结
TiDB是PingCAP开发一款国产开源数据库，活跃度比较高。文章介绍了其主要组件，并总结了数据库的优点和缺点。
2025-11-26 11:09:43
368
原创 ClickHouse数据库参数prefer_column_name_to_alias的作用
ClickHouse可用参数prefer_column_name_to_alias启用或禁用在查询表达式和子句中使用原始列名而不是别名。尤其是在别名与列名相同的情况下。
2025-11-18 15:27:00
200
原创 ClickHouse数据库参数join_use_nulls的作用
ClickHouse可用参数join_use_nulls设置JOIN行为的类型。在合并表时，可能会出现空值，即左表或右表有NULL值。ClickHouse根据此设置以不同的方式填充它们。
2025-11-17 17:21:32
259
原创 ClickHouse查看数据库、表、列等元数据信息
ClickHouse提供系统表查询数据库的状态，包括服务器环境、数据库信息、表信息、列信息、函数、配置等信息，系统表位于system数据库中。另外ClickHouse提供了兼容SQL标准的information_schema系统数据库，用于查看数据库对象的元数据。
2025-11-12 11:06:41
622
原创 ClickHouse数据库的表引擎
ClickHouse提供4类表引擎，分别支持不同场景。包括Log、MergeTree、Special、Integrations系列引擎。对各类引擎进行介绍和总结。最后举例说明建表的SQL脚本。
2025-10-30 17:07:09
303
原创 Clickhouse数据库的介绍
Clickhouse数据库的特点和优势介绍，包括Clickhouse的结构原理、查询和写入性能、分布式架构、适用场景等的介绍。
2025-10-29 11:48:11
574
原创 Python写入PostgreSQL表的三种实现方法
介绍使用Python的psycopg2库写入PostgreSQL表的方法，主要包括INSERT INTO语句方法；使用pandas.DataFrame的to_sql方法直接写入；COPY高性能写入方式。COPY的优点是速度快，资源开销低。缺点是不支持更新逻辑（比如UPSERT），事务回滚成本大。所以一般大数据量（比如单次几十上百万以上量级）场景用COPY，其他场景用前两种方式即可。
2025-09-26 11:11:07
417
原创 Python读取MongoDB的JSON字典和列表对象转为字符串
使用Python的pymongo库连接和读取Mongo的集合或表，读取的每个结果为一个JSON对象。实例代码中将解析结果转化为DataFrame类型，一级属性作为列名，如果属性值为字段和列表，即JSON内嵌对象，则解析为JSON字符串。
2025-09-25 11:37:02
495
原创 Flink-SQL计算中的维表连接使用举例
Flink-SQL中，事实表（又称为流表）和维表连接的计算规则与两条流连接是不同的，两条流连接必须有时间属性和窗口的约束，否则状态会无限膨胀。维表一般是静态或缓慢变化的，Flink不会把维表全部加载进状态，而是连接时查询当前ID的最新值，也可设置缓存进行延迟优化等。
2025-09-24 10:28:56
371
原创 Flink-SQL通过过滤-解析-去重-聚合计算写入到MySQL表
数据源来自于Kafka的Json结构数据，数据结构为源头不断更新的小时报表，Flink的任务是消费Kafka主题数据，然后经过过滤、解析、去重、聚合等计算，最后将结果写入到MySQL表中。
2025-09-23 10:06:24
383
原创 大模型与人工智能的关系和区别
大模型与人工智能的区别与联系，包括NLP、LLM、AIGC、AGI、GPT、ChatGPT等的介绍及应用范畴等。同时列举了主要AI产品，比如DeepSeek，ChatGPT、豆包、通义千问等。
2025-09-22 12:01:18
267
原创 汽车智能驾驶技术现状
汽车智能驾驶（Autonomous / Automated Driving）技术在研发、法规、商业化三个层面都有不少进展，但也正面临若干挑战。自动驾驶技术和Level 0 至 Level 5分级系统的介绍。国内外厂商的介绍，Alphabet的Waymo公司产品RoboTaxi；通用电气（GM，General Motor）的Cruise；特斯拉的Autopilot；亚马逊的Zoox；百度的Apollo在国内已经属于领先地位。
2025-09-19 11:44:32
589
原创 Python读取MongoDB数据并写入PostgreSQL
使用Python 3读取MongoDB数据，然后写入到PostgreSQL中，分别借助pymongo和psycopg2库。经整理和优化后以分批次读取和写入的方式较适合生产场景，并能有效应对数据量比较大的情况。
2025-09-17 10:22:30
313
原创 Spark-SQL任务提交方式
Spark-SQL任务提交方式的介绍和提交代码举例，按不同的资源管理模式分别说明。Spark-SQL的交互式模式可以按照类似hive方式写SQL代码。Spark SQL一般依赖Hive的元数据。
2025-09-11 18:43:45
384
原创 Spark中Shuffle阶段的优化方法
Spark中Shuffle阶段的优化方法，包括调整参数spark.shuffle.sort.bypassMergeThreshold控制排序，spark.shuffle.file.buffer调整缓冲区大小等策略
2025-09-10 10:19:03
544
原创 Spark提交任务的资源配置和优化
Spark 提交任务时的资源配置和优化建议，主要可调的资源配置参数包括 Driver 资源、Executor 资源以及集群管理器相关参数。配置和优化时一般结合集群硬件资源、数据规模、作业类型和作业复杂度（SQL / 机器学习） 来综合设置。
2025-09-09 10:53:21
439
原创 Hive使用Tez引擎出现OOM的解决方法
Hive使用Tez引擎出现OOM的解决方法，主要通过调整参数hive.tez.container.size解决问题
2025-09-05 10:12:43
386
原创 使用Spark计算WordCount
使用Spark引擎统计单词计数，即Word Count，主要使用map，flatmap，reduceByKey算子
2025-09-02 10:07:41
348
原创 Spark引擎中RDD的性质
Spark引擎中RDD的介绍和性质理解，RDD是Spark提供的核心抽象，是一个 分布式、不可变、带血统的对象集合。
2025-09-01 11:39:34
252
原创 PostgreSQL数据库查看表名模式注释等元数据信息
PostgreSQL数据库查看表信息，包括表名、schema、注释等信息，可通过查询PG的元数据查看
2025-06-12 10:23:05
521
原创 Python中的小数和分数
介绍和举例说明了Python中的小数和分数的用法，使用模块decimal表示小数。解决浮点数缺乏精确性。使用分数需要导入模块fractions。
2025-05-06 10:04:26
266
原创 Pandas库DataFrame的filter函数用法
Pandas库DataFrame的filter函数根据指定的索引标签对数据框按行或列进行数据筛选
2025-02-09 20:31:54
760
原创 Python3异步IO编程中协程的介绍和使用
Python3异步IO开发中协程的介绍和使用方法，包括await和async关键字的用法，多任务并发等
2024-12-01 18:06:45
451
原创 Python脚本文件开头两行#!/usr/bin/python和# -*- coding: utf-8 -*-的作用
Python脚本文件的前两行解释器和编码格式的指定方式，开头两行的使用介绍等
2024-11-29 11:31:35
809
原创 Centos7.9编译安装Python3.12
在Centos 7.9最小化安装的系统上编译安装Python3.12版本，包括详细步骤，遇到的问题及解决方法
2024-10-29 16:15:41
832
原创 VMware Workstation Pro 17 安装 Centos 7.9 虚拟机
使用VMware Workstation Pro 17.5.2版本进行安装CentOS 7.9虚拟机，包括安装配置步骤及截图
2024-10-23 16:32:50
913
原创 VMware Workstation Pro 17.5.2下载和安装指南
最新的VMware Workstation Pro 在 Windows 11 或 10 上下载并安装的精简且实用的步骤
2024-10-22 12:21:12
1841
9Linux操作系统笔记
2019-03-29
ASCII码_含扩展(256个字符)_含解释
2012-10-12
获取汉字拼音的首字母_C#代码
2012-10-16
Code128条码编码规则与绘制
2012-10-21
DataMax打印机指令打印_C#代码
2012-10-15
DataMax打印机指令打印二维条码_C#代码
2012-10-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人