- 博客(313)
- 资源 (51)
- 问答 (5)
- 收藏
- 关注
RSS订阅
原创 Python常见数据类型处理
*不可变数据（3 个）：**Number（数字）、String（字符串）、Tuple（元组）；**可变数据（3 个）：**List（列表）、Dictionary（字典）、Set（集合）。布尔类型可以用来控制程序的流程，比如判断某个条件是否成立，或者在某个条件满足时执行某段代码。在 Python 中，True 和 False 都是关键字，表示布尔值。转义特殊字符，如果你不想让反斜杠发生转义，可以在字符串前面添加一个。Python的元组与列表类似，不同之处在于元组的元素不能修改。Python3 中，
2024-05-19 21:54:13
5455
157
原创 企微配置回调服务
什么时候需要回调服务在集成企业微信与内部系统时，我们往往需要搭建一个回调服务。自定义丰富的服务行为。比如，用户向应用发消息时，识别消息关键词，回复不同的消息内容；用户点击应用菜单时，转化为指令，执行自动化任务。可以及时获取到状态变化。比如，通讯录发生变化时，不需要定时去拉取通讯录对比，而是实时地获取到变化的通讯录结点，进行同步。企业微信会先判断URL服务是否具备解析企业微信推送消息的能力。
2023-08-19 23:16:53
22950
49
原创 原生Jdbc获取库、表、字段
JDBC(Java Database Connectivity)是一个独立于特定数据库管理系统、通用的SQL数据库存取和操作的公共接口（一组API），定义了用来访问数据库的标准Java类库，（）使用这些类库可以以一种标准的方法、方便地访问数据库资源。JDBC为访问不同的数据库提供了一种统一的途径，为开发者屏蔽了一些细节问题。JDBC的目标是使Java程序员使用JDBC可以连接任何提供了JDBC驱动程序。
2023-06-21 22:58:26
11921
39
原创 计算机网络整理(超全整理)(2000+收藏)
一、网络 7 层架构(ISO/OSI协议参考模型)二、TCP/IP 原理三、TCP 三次握手/四次挥手四、TCP长连接与短连接五、 HTTP 原理六、HTTPS七、TCP/IP协议族
2020-06-13 19:15:14
27612
87
原创 10分钟让你掌握Linux常用命令(+3万+++收藏)
1、目录操作。2、文件操作。3、文件内容操作。4、压缩和解压缩。5、日志查看。6、Linux下文件的详细信息。7、常用的docker容器的命令。8、其他命令。
2019-09-25 15:38:43
807679
364
原创 Hadoop简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
2026-08-29 16:34:07
220
原创 MPP 数据库
MPP数据库：大规模并行处理架构解析 MPP（大规模并行处理）数据库通过分布式架构将数据与计算任务拆分到多个独立节点并行执行，显著提升海量数据分析效率。其核心特点包括数据分片、无共享架构（Shared-Nothing）、并行查询和线性扩展能力，适合TB-PB级数据的OLAP场景（如BI报表、实时数仓）。典型产品有Greenplum、ClickHouse、Snowflake等。相比传统OLTP数据库，MPP擅长低并发复杂查询，但存在数据倾斜、扩容成本等局限性。该技术通过多节点协同计算，将分析查询从小时级优化至
2026-08-11 22:14:48
243
20
原创 基于Foreign Table加速查询MaxCompute数据
摘要：Hologres支持通过创建外部表加速查询MaxCompute数据，提供三种方案：1）手动创建外部表（CREATE FOREIGN TABLE）适合少量表且结构稳定的场景；2）批量映射Schema（IMPORT FOREIGN SCHEMA）适用于整体Schema级别的表同步；3）Auto Load功能可自动处理表结构频繁变更的情况。文档以非分区表和分区表为例，详细演示了通过CREATE FOREIGN TABLE方式建立映射的步骤，包括权限配置、数据类型映射和查询操作。其中非分区表示例使用MaxCo
2026-08-10 23:01:43
248
11
原创 使用SQL导入MaxCompute的数据至Hologres
本文介绍了如何将MaxCompute中超过200GB的业务数据高效导入Hologres内部表进行查询，包括非分区表数据的完整导入流程。主要内容包括：注意事项（数据类型映射、分区处理等）、具体操作步骤（创建外部表、存储表及数据导入），以及推荐使用SQL导入而非数据集成以提升性能。通过该方法可实现秒级查询响应，适用于大规模复杂查询场景。 （摘要字数：149字）
2026-08-10 22:55:45
302
9
原创 使用DataWorks导入 Maxcompute 数据
摘要：DataWorks与Hologres深度集成，提供一站式大数据开发治理平台，支持通过DataStudio模块进行可视化数据开发。主要功能包括： Hologres SQL开发：支持标准PostgreSQL语法，可创建表、插入数据并提交周期性调度任务。 一键表结构导入：通过可视化界面批量创建MaxCompute外部表，支持冲突处理策略。 一键数据同步：高效导入MaxCompute数据至Hologres，支持查询优化和调度配置。 操作流程涵盖节点创建、SQL编写、参数配置（目标库、Schema、冲突策略等）
2026-08-10 22:51:47
374
12
原创 Hologres分区表
Hologres V3.1版本引入逻辑分区表，相较于物理分区表具有显著优势。逻辑分区表父表为物理表，子表为逻辑概念，支持二级分区和生成列作为分区键，无需预创建分区，有效减少元数据量。使用限制包括仅支持LIST分区、分区键需非空、单表分区上限5200个等。逻辑分区表适合数据量较大且需要频繁分区管理的场景，但不建议单分区数据量过小。创建时通过LOGICAL PARTITION BY LIST语法定义分区键，支持动态分区管理，数据删除后分区自动清理。需注意写入时避免分区数量膨胀，并优化数据分布。
2026-08-08 23:14:46
251
9
原创 Hologres的数据存储分布
Hologres支持三种表存储格式：列存、行存和行列共存。列存适合OLAP场景，支持复杂查询和统计，默认创建多种索引；行存适合基于主键的点查场景，查询效率高；行列共存兼顾两者优势，但存储开销较大。选择存储格式需根据业务场景，未明确时建议优先选择行列共存。建表示例展示了不同格式的语法配置，其中列存表支持更多索引优化，而行存表在主键查询时性能最佳。行列共存的表设计需注意列数限制（建议不超过300列）。
2026-08-05 23:10:35
305
8
原创 Hologres 简介
Hologres是阿里巴巴自主研发的一站式实时数仓引擎，支持海量数据的实时写入、更新、加工和分析。核心特性包括：多场景查询（亚秒级交互分析、高性能主键点查、联邦查询与数据湖加速、半结构化数据分析）、原生实时数仓能力（高吞吐写入、所见即所得开发、全链路事件驱动）、企业级运维（数据安全、负载隔离、自运维）以及PostgreSQL生态兼容性。典型应用场景涵盖实时数仓搭建、MaxCompute离线数据加速查询、实时与离线数据联邦分析等。其存储计算分离架构实现了灵活扩展和高性能处理，广泛应用于实时数据中台、营销画像、
2026-08-04 23:30:56
456
7
原创 AnalyticDB分区、分布键性能优化
本文介绍了优化AnalyticDB for MySQL表结构的五种方法：1）选择表类型（复制表适合小数据量，普通表适合大数据量）；2）合理设置分布键，建议选择均匀分布、高频查询或Join字段；3）使用分区键进一步切分数据，建议按年/月/日分区；4）定义主键时应包含分布键和分区键，推荐数值类型；5）合理使用聚集索引提升查询性能，建议选择高频查询字段。通过合理设计这些关键要素，可显著提升表性能和查询效率。
2026-06-09 23:35:45
6637
30
原创 AnalyticDB基本概念
摘要：本文介绍了阿里云AnalyticDB MySQL版的核心概念，包括地域、可用区、集群等物理层概念，以及逻辑库、分片、分区等数据库结构。重点阐述了分区表和复制表的特性差异，弹性资源单位EIU和ACU的定义，以及资源组在多租户场景下的作用。最后说明了不同版本支持的资源组功能差异，为理解云原生数据仓库架构提供了基础概念框架。（149字）
2026-06-09 23:26:13
5159
38
原创 Yarn的调度器算法
YARN是一个分布式资源调度平台，主要由ResourceManager、NodeManager等组件构成。它支持三种调度器：FIFO（先进先出）、Capacity Scheduler（容量调度器）和Fair Scheduler（公平调度器）。FIFO简单但不适合生产环境；Capacity Scheduler支持多队列资源分配；Fair Scheduler采用最大最小公平算法，支持FIFO、Fair和DRF三种资源分配策略，其中DRF策略可处理多种资源类型的公平分配问题。Hadoop默认使用Capacity
2026-03-01 19:47:29
1183
70
原创 Hive、Spark 的 join 方式
Hive和Spark提供了多种Join算法实现方式。Hive支持Common Join、Map Join、Bucket Map Join和Sort Merge Bucket Map Join等算法，适用于不同规模表之间的关联操作，其中Map Join适用于小表与大表关联，Bucket Map Join则适用于大表间关联。Spark提供Broadcast Hash Join、Sort Merge Join、Shuffle Hash Join等算法，Broadcast Join无需Shuffle，适合小表广播场
2026-02-01 17:58:25
1219
53
原创 Hadoop 架构
Hadoop是由Apache开发的分布式系统基础架构，主要用于解决海量数据的存储和分析问题。它具有高可靠性（多数据副本）、高扩展性（支持千级节点）、高效性（并行处理）和高容错性（自动任务重分配）等优势。Hadoop生态圈主要由HDFS（分布式文件系统）、YARN（资源管理器）和MapReduce（计算框架）三大组件构成。HDFS负责数据存储，包含NameNode、DataNode等角色；YARN管理集群资源；MapReduce实现并行计算。三者协同工作，形成完整的大数据处理解决方案，并与其他大数据技术共同构
2026-01-31 22:57:44
6225
39
原创 DataWorks离线同步 OSS文件
数据集成平台功能概述 数据集成平台提供高效稳定的异构数据源同步能力，支持多种同步方式组合： 时效性：离线批量同步（小时/天级）和实时同步（秒级延迟） 范围：单表、整库及分库分表同步 策略：全量、增量及全增量混合模式 平台支持OSS数据源的读写操作，具有以下特性： 支持TXT/CSV/ORC/PARQUET格式文件 支持文本压缩和自定义分隔符 支持多线程并发读取和写入 提供字段类型映射和日期格式配置 使用限制包括单个文件不支持并发写入、冷归档存储不可写等，同步时需注意数据格式规范。平台提供灵活的脚本配置方式，
2026-01-31 16:25:09
1138
34
原创 各种压缩算法对比
Hive文件格式与压缩技术概述 本文介绍了Hadoop生态系统中常用的压缩格式和Hive文件存储格式。压缩格式方面，对比了DEFLATE、Gzip、bzip2、LZO和Snappy等算法的压缩比、速度及是否支持切分特性。文件格式部分重点分析了ORC和Parquet两种列式存储结构：ORC文件由Header、Body和Tail组成，采用Stripe分块存储；Parquet文件则包含多个Row Group和Footer，支持高效列式查询。文章还提供了各种格式的建表语法及参数配置建议，为大数据处理中的存储优化提供
2026-01-24 13:10:35
769
43
原创 在iCloud、Onedrive等云文件夹中开启超级右键菜单
摘要 针对macOS系统在iCloud/OneDrive云同步文件夹中无法显示超级右键菜单的问题，本文提供了详细解决方案。对于macOS 14及以上版本，需升级超级右键至2.3.1+版本，并在设置中开启相关选项，可通过三种方式唤出菜单：修饰键+右键、鼠标中键点击或三指轻拍。对于macOS 13及以下版本，需先确保系统右键功能正常，然后分别针对触控板、妙控鼠标和普通鼠标进行特定设置。文中还特别说明了各类操作可能产生的手势冲突及相应解决方法，帮助用户在不同设备环境下都能正常使用超级右键功能。
2026-01-09 19:10:22
1366
40
原创 数据传输服务DTS
阿里云数据传输服务DTS提供一站式数据迁移与处理解决方案，支持数据迁移、同步、订阅、加工及校验等功能。其核心能力包括异构数据库迁移、实时数据同步、增量数据订阅等，适用于业务上云、异地灾备等场景。DTS采用高可用架构，支持结构迁移、全量迁移和增量迁移三阶段流程，并配备智能问答助手辅助用户操作。典型应用场景如自建MySQL到PolarDB MySQL版的数据同步，支持单向/双向同步拓扑，确保数据安全可靠传输。
2026-01-05 22:58:27
11044
36
原创 2025 年度报告
CSDN发布2024年度报告，记录用户技术创作的点滴成长。报告涵盖技术分享、创意探索与生活感悟，展现用户熬夜编程、收获互动的珍贵瞬间。官方查看地址为https://www.csdn.net/cps/2024summary/，支持APP搜索或扫码查看。CSDN将继续秉持"技术改变世界"理念，与用户共创精彩未来。文末附有11张年度报告展示图，呈现2025年的技术展望与用户成就。
2026-01-03 21:49:09
972
18
原创 AnalyticDB导入MaxCompute数据的几种方式
摘要：AnalyticDB MySQL是阿里云全托管的PB级实时数仓，支持湖仓一体架构和毫秒级数据更新。MaxCompute是阿里云自主研发的企业级云数据仓库，提供TB/PB级数据处理能力。DataWorks是智能大数据开发治理平台，支持多种计算服务。数据同步可通过DataWorks导入或通过外表导入MaxCompute数据，后者利用AnalyticDB集群资源实现高性能导入。具体步骤包括创建MaxCompute外表、配置访问参数等，支持分区和非分区表导入。
2025-12-27 21:50:37
10771
32
原创 6、Spark 函数_u/v/w/x/y/z
Spark SQL函数摘要： ucase/upper：将字符串转为大写（1.0.1+） unbase64/unhex：Base64/十六进制转二进制（1.5.0+） uniform：生成指定范围的随机数（4.0.0+） unix时间函数： unix_date：返回1970年后的天数（3.1.0+） unix_micros/millis/seconds：返回微秒/毫秒/秒级时间戳（3.1.0+） url_encode/url_decode：URL编解码（3.4.0+） uuid：生成36位UUID（2.3.0
2025-12-27 17:53:25
5953
19
原创 5、Spark函数_s/t
摘要：本文介绍了Spark SQL中的多种schema解析函数，包括schema_of_avro、schema_of_csv、schema_of_json、schema_of_variant、schema_of_variant_agg和schema_of_xml，用于从不同格式数据中提取结构定义。同时还介绍了数学函数sec、时间函数second、文本处理函数sentences以及序列生成函数sequence。这些函数支持从Spark 1.5到4.0的不同版本，提供了处理结构化数据的便捷方法。
2025-12-27 17:49:29
5800
15
原创 4、Spark 函数_m/n/o/p/q/r
Spark SQL提供了多个日期时间创建函数： make_date()：根据年月日创建日期，支持1-9999年范围 make_dt_interval()：通过天/时/分/秒创建时间间隔 make_interval()：通过年/月/周/日/时/分/秒创建时间间隔 make_timestamp()：创建带时区的时间戳 make_timestamp_ltz()：创建本地时区时间戳 这些函数在参数无效时，根据spark.sql.ansi.enabled配置返回NULL或报错。其中时间戳函数支持60秒的特殊处理（自动
2025-12-27 17:44:14
10795
23
原创 3、Spark 函数_d/e/f/j/h/i/j/k/l
本文介绍了Apache Spark SQL中常用的日期处理函数，包括date()、date_add()、date_diff()、date_format()等。这些函数可用于日期转换、日期加减、日期差计算、日期格式化等操作。每个函数都提供了语法说明、参数解释和使用示例，如date_add()计算指定天数后的日期，date_diff()计算两个日期之间的天数差。文章还包含了函数的版本信息（Since字段），帮助开发者了解函数兼容性。这些日期函数为Spark SQL中的时间数据处理提供了强大支持。
2025-12-27 17:30:46
6523
17
原创 2、Spark 函数_a/b/c
本文介绍了Spark SQL中的多个数学和加密函数，包括： 基础数学函数：abs（绝对值）、acos（反余弦）、acosh（反双曲余弦） 日期函数：add_months（添加月份） 高级加密函数：aes_decrypt（AES解密）和aes_encrypt（AES加密），支持多种加密模式和填充方式 这些函数从Spark 1.2.0到3.3.0的不同版本开始引入，提供了数值计算、日期处理和加密解密功能，示例代码展示了各函数的具体用法。
2025-12-27 17:20:47
2226
14
原创 Kafka如何提高读写效率
摘要 Kafka高效读写数据的关键在于分布式分区、稀疏索引、顺序写磁盘及页缓存+零拷贝技术。通过合理设置副本数(2-3个)平衡可靠性与网络IO。提升吞吐量可从生产者缓冲区、批次大小、延迟时间、压缩类型等参数优化，以及增加分区和调整消费者参数。数据可靠性方面，生产者acks参数控制应答级别，broker需配置足够副本数。数据去重通过幂等性和事务实现，涉及5个核心API。整体需从生产者、broker、消费者三端协同配置，包括应答机制、副本设置、事务处理等，确保数据可靠传输。
2025-12-14 14:58:58
10995
15
原创 1、Spark函数_符号
摘要：本文介绍了Apache Spark SQL中的基本运算符，包括逻辑运算符(!)、比较运算符(=, !=, <, <=, <=>)、算术运算符(+, -, *, /, %)、位运算符(&, <<)等。每个运算符都提供了详细说明、参数要求和使用示例，并标注了引入版本。这些运算符支持不同类型数据的操作，但要求操作数类型相同或可转换，且某些复杂类型需要字段可排序。NULL值的处理遵循SQL标准，部分运算符在比较NULL时会返回NULL。
2025-12-13 23:02:51
11044
15
原创 3.9、其它函数
分类函数功能表达式与条件判断类BETWEEN AND表达式筛选满足区间条件的数据。表达式与条件判断类CASE WHEN表达式根据表达式的计算结果，灵活地返回不同的值。表达式与条件判断类IF判断指定的条件是否为真。表达式与条件判断类NULLIF比较两个入参是否相等。相等则返回NULL表达式与条件判断类NVL指定值为NULL的参数的返回结果。表达式与条件判断类COALESCE返回参数列表中第一个非NULL的值。表达式与条件判断类DECODE实现分支选择的功能。类型转换CAST。
2025-11-23 21:49:57
1147
18
原创 3.8、加密函数
单一密钥加密：支持生成单一密钥，需要自行保存生成的密钥，适用于对指定列做随机性加密或解密。分类函数功能单一密钥加密对表里的指定已经随机性加密的列做解密，返回BINARY类型的明文。单一密钥加密对表里的指定列做随机性加密，返回BINARY类型的密文。多密钥加密：MaxCompute密钥管理对象Keyset，可以存放1个或多个密钥，您可以手动在Keyset中增加密钥，密钥的轮转和查看原始密钥。函数功能NEW_KEYSET根据指定的算法类型，创建对应的密钥Keyset。
2025-11-23 21:49:15
1637
17
原创 3.7.9、Json函数
分类函数功能Json格式化将Json数据转换成String类型生成JsonJSON_PARSE将String类型转成Json类型，非Json格式转换为字符串会报错。生成JsonTO_JSON将指定的复杂类型(ARRAY、MAP、STRUCT)输出为Json字符串。生成Json生成JSON OBJECT，要求key和value成对出现。生成JsonJSON_ARRAY生成JSON ARRAY。将一个可能为空的JSON类型对象，转换为包含这些类型的数组。Json解析FROM_JSON。
2025-11-23 21:48:40
635
13
原创 3.7.8、Struct函数
Struct类型，就类似于Java中的对象函数功能FIELD获取STRUCT中的成员变量的取值。INLINE将指定的STRUCT数组展开。每个数组元素对应一行，每行每个STRUCT元素对应一列。使用给定的Name、Value列表建立STRUCT。STRUCT使用给定Value列表建立STRUCT。
2025-11-23 21:45:14
10224
12
原创 11、其它函数
摘要 本文分类整理了多种SQL函数，主要包括： 表达式与条件判断类：如BETWEEN AND、CASE WHEN、IF等，用于条件筛选和逻辑判断； 类型转换类：如CAST、BASE64等，实现数据类型转换和编码处理； 加密/哈希类：如SHA、COMPRESS等，提供数据加密和压缩功能； 身份信息类：如GET_IDCARD_AGE、UUID等，处理身份证信息和生成唯一ID； 集合与元数据类：如GREATEST、TABLE_EXISTS等，支持聚合操作和元数据查询； 数据操作类：如SAMPLE、TRANS_AR
2025-09-04 09:00:00
10330
22
原创 10、加密函数
摘要 MaxCompute提供三类加密函数：1）单一密钥加密：通过SYM_ENCRYPT和SYM_DECRYPT实现基础加解密，需自行管理密钥；2）多密钥加密：支持密钥集(Keyset)管理，包含密钥创建(NEW_KEYSET)、轮转(ROTATE_KEYSET)等功能；3）结合KMS的加密：通过NEW_WRAPPED_KEYSET等函数实现与KMS集成的密钥管理，支持自动密钥轮转和高安全级别的数据保护。所有加密操作均支持AES-GCM等算法，并提供附加身份验证(AAD)功能以确保数据完整性。
2025-09-03 09:00:00
10568
17
原创 9、Json函数
本文介绍了常用的JSON处理函数，主要分为格式化、生成、解析、修改和其他五大类。格式化函数如JSON_FORMAT用于转换JSON和字符串；生成函数如JSON_PARSE、TO_JSON等可创建JSON对象或数组；解析函数如FROM_JSON、GET_JSON_OBJECT等用于提取JSON数据；修改函数如JSON_INSERT支持更新JSON内容；其他函数如JSON_TYPE可检查JSON格式和类型。每种函数都提供了SQL示例，展示了其具体用法和输出效果。这些函数能有效处理JSON数据转换、解析和操作需求
2025-09-02 09:00:00
11920
13
原创 8、Struct函数
本文介绍了Hive中Struct类型相关函数的使用方法。主要包括FIELD（获取结构体成员值）、INLINE（展开结构体数组）、NAMED_STRUCT（创建带命名的结构体）和STRUCT（创建匿名结构体）四个函数，并提供了每个函数的语法格式和具体SQL示例。这些函数可以方便地创建和操作结构体数据类型，实现类似Java对象的功能，适用于复杂数据结构的处理场景。
2025-09-01 09:00:00
10135
11
原创 7、Map函数
本文介绍了Map相关函数及其功能，主要包括三类：Map处理、转换和其他操作。Map处理函数如MAP用于创建键值对，MAP_CONCAT合并多个Map，MAP_FILTER过滤元素等；转换函数如TRANSFORM_KEYS和TRANSFORM_VALUES可调整键或值；其他函数如SIZE返回键值对数。这些函数支持复杂数据处理，适用于数组和结构体操作，并提供了重复键处理策略。
2025-08-31 09:00:00
10153
12
资料-线上问题排查利器-Alibaba Arthas.zip
2022-06-11
Arthas.xmind
2022-06-11
swagger-demo.zip
2022-05-12
validationQuery的用途
2023-04-23
原生Jdbc如何获取到数据库列表
2023-05-06
hive查询表字段加comment
2023-04-27
如何查询SQL中的表名呢？
2023-04-19
如何替换SQL中的表名呢？
2023-04-18
如何在MyBatis-Plus使用Explain？
2022-05-19
如何在MyBatis-Plus使用Explain？
2022-05-19
以下main方法中书写正确的是
2022-05-18
maven中scope标签可以在哪个位置使用？
2022-05-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人