- 博客(174)
- 收藏
- 关注
RSS订阅原创 OpenClaw生态全景解析 - 9大核心工具赋能 AI 自动化落地
OpenClaw作为开源AI自动化框架，因部署配置复杂度高催生了丰富的生态工具。关于国内外开源和知名的Claw服务，可以查看之前的文章：Claws及其衍生工具OpenClaw、NanoClaw，阿里云的CoPaw、Kimi Claw、网易LobsterAI，ZeroClaw、PicoClawClawhub Skills: ClawHub - OpenClaw的技能生态平台，12个实用的Skills。
2026-06-15 14:18:38
325
原创 阿里巴巴推出智能简历解析神器 - SmartResume，解放HR？
阿里巴巴研究团队推出简历解析AI神器SmartResume，其核心是基于布局感知的统一解析框架，将多格式简历转化为结构化信息，兼顾高精度与高效能。该框架直击简历格式多样、大模型成本高、响应慢的痛点，在准确率与效率上实现突破。SmartResume先通过“布局感知解析器”识别简历逻辑区块并有序重组，再对仅0.6B参数的Qwen3模型微调，结合并行任务分解与索引指针机制，既保证信息不失真，又大幅提升速度。
2026-06-15 14:11:36
356
原创 UniScientist：30B开源科研大模型突破，重构AI自主研究范式
UniPat AI 推出 30B 参数量开源科研大模型 UniScientist，突破科研大模型 “只写报告不做研究” 的行业痛点，以统一范式搭建通用科研智能，实现 “提出假设 - 收集证据 - 可复现推导 - 迭代验证” 的全流程科研闭环，性能匹敌甚至超越参数量大一个数量级的顶尖闭源模型，为 AI 科研落地提供关键参考。UniScientist核心价值在于将 AI 建模为动态系统，通过自主数据引擎将开放式科研难题转化为可验证 “单元测试”，让科研智能实现可训练、可评估、可迭代，真正具备自主科学研究能力。
2026-06-15 14:10:53
233
原创 Claws及其衍生工具OpenClaw、NanoClaw，阿里云的CoPaw、Kimi Claw、网易LobsterAI，ZeroClaw、PicoClaw
如果说基础大模型是只会聊天的 “嘴强王者”，LLM Agent是需要手把手教的 “新手实习生”，那 Claws 就是职场里不用催、不用教，能独当一面干完一整件事的 “全能老员工”，更是 AI 界新晋的超级打工人搭子。它并非传统 AI 大模型，而是能自主组织工具、跑通完整流程、维持长期运行状态的 AI 执行中枢，也是 LLM Agent 的下一代进化形态。Claws被业内称作AI领域的 “超级打工人”。
2026-05-16 13:39:09
776
原创 三强争霸：Claude Sonnet4.6、Gemini 3.1 Pro、GLM-5深度解析与全面对比
人工智能领域迎来密集爆发期。Anthropic、谷歌、智谱 AI 三大巨头相继推出重磅模型 —— Claude Sonnet4.6、Gemini 3.1 Pro 与 GLM-5，分别从综合能力升级、核心推理突破与开源性价比三个维度重塑行业格局。这三款模型不仅代表了当前 AI 技术的顶尖水平，更折射出全球大模型竞争从参数规模比拼转向实际任务价值兑现的关键趋势。本文将从核心特性、性能表现、定价策略、应用场景等维度进行深度解析与横向对比，为开发者与企业用户提供决策参考。一、三款模型核心特性与技术突破。
2026-05-16 13:32:35
609
原创 当我正在使用GitHub Copilot进行Vibe coding时，竟成了AI的养料！
自 4 月 24 日起，Copilot Free、Pro、Pro + 个人用户与工具的交互数据，将默认用于 AI 模型训练，用户需手动操作才能退出，而企业版用户不受影响。用户普遍认为，数据使用应默认关闭，自愿开启才合理，这种把用户数据当作产品资源的做法，彻底消耗了社区信任。官方指引的退出路径模糊，设置入口隐藏在页面底部，文字描述与实际操作不符，用户吐槽 GitHub 故意设置障碍，赌多数人找不到退出选项。第三，我也不清楚，如果我的仓库里加了协作者，而他们没有选择退出，那我的代码会不会也被拿去用？
2026-04-10 13:05:06
431
原创 AI编程迎来颠覆性变革，Cursor称之为第三时代开启与Karpathy判断AI编程的技术质变
当然，AI 编程的新发展也面临挑战，Cursor 仍需解决智能体工业规模运行的系统性故障问题，而随着云端 Agent 规模化合并代码，也带来了执行权限和验证标准的新问题。2026年初，AI 编程领域迎来双重重磅突破，Cursor CEO Michael Truell 宣布正式迈入 AI 编程 “第三时代”，而 AI 领域知名专家 Karpathy 则指出，2025 年 12 月成为 AI 编程的质变节点，模型能力的飞跃让 Coding Agent 从 “无用” 变得实用，软件开发的传统模式正被彻底重构。
2026-04-10 13:04:44
533
原创 炸裂! Claude Code和Claude Cowork重磅更新，剑指OpenClaw
Anthropic 发布 Claude Code 与 Claude Cowork 重磅更新，推出电脑直接操控能力，实现 AI 从 “给出建议” 到 “动手执行” 的跨越，正面硬刚 OpenClaw，成为 AI Agent 领域里程碑式突破。同步上线的Dispatch功能打通设备壁垒，支持手机与电脑跨端连续对话，结合电脑操控能力，用户可远程指挥 AI 完成邮件检查、数据汇总、代码修改、PR 提交、3D 打印进度跟踪等任务，实现真正的跨端自动化工作流。这不是玩具，是 AI Agent 真正的落地级革命。
2026-04-09 16:26:49
364
原创 GLM-5.1 重磅上线，编程能力剑指Claude Opus 4.6，Coding plan订阅再次火速售罄
详情查阅：https://open.bigmodel.cn/glm-coding，https://docs.z.ai/guides/llm/glm-5，https://docs.bigmodel.cn/cn/coding-plan/using5-1#glm-5-1。网友实测中，GLM-5.1 表现惊艳，不仅能生成结构清晰、质量超预期的灵巧手行业手册，还可制作室内设计平面图、可交互国际象棋网页游戏，甚至生成带交互的康定斯基风格《我的世界》克隆版，展现出优秀的空间结构理解、空间一致性和动态补全能力。
2026-04-09 14:07:08
491
原创 Dify、Coze、n8n、AutoGen、LangChain、CrewAI - 智能体框架全解析
在当前AI应用开发的浪潮中，AI Agent正成为重构技术范式的核心力量 — 它让AI系统从被动响应的单模型工具，进化为具备感知环境、独立决策、自主行动能力的智能体系统，能够主动协作完成复杂任务。在这一转变下，开发者需要适配不同场景的工具支撑，而Dify、Coze、n8n、AutoGen、LangChain、CrewAI六大框架，凭借各自差异化的能力覆盖了从“零代码快速搭建”到“高级编程深度定制”的全场景开发需求。
2026-03-20 15:35:42
708
原创 Claude破解30年图论难题，让图灵奖得主高德纳为AI惊叹
直白表达了对 AI 的震撼 —— Anthropic 三周前发布的 Claude Opus 4.6 混合推理模型，仅用 1 小时 31 次探索，便破解了他钻研数周、根源可追溯 30 年的三维图论开放难题，这也让向来对生成式 AI 持保留态度的高德纳彻底改变了对 AI 的看法。这道难题是高德纳为《计算机程序设计艺术》未来卷撰写有向哈密顿环内容时遇到的，核心是将拥有 m³ 个顶点的三维有向图的所有弧，分解为三个长度为 m³ 的有向环，且适用于所有 m>2 的情况。
2026-03-20 15:34:25
250
原创 如果下一次工业革命迟迟不来，我们会不会陷入无限“内卷”？
工业革命，听起来是不是有点像那种老掉牙的“成功学”故事？好像只要机器一转，人类社会就能瞬间从“青铜”升级到“王者”。但别急，这事儿可没那么简单，它就像是一场“升级打怪”的冒险游戏，有时候你辛辛苦苦打了个“小怪”，结果发现经验值少得可怜；有时候却能一下子碰到个“大BOSS”，直接让你实力暴涨。
2026-03-16 12:29:06
206
原创 xAI大清洗，Meta拟裁员20%，最难的还是一线员工
从 xAI 的战略调整到 Meta 的成本管控，两大科技企业的动作勾勒出当前 AI 行业的发展现状：一方面，AI 技术的快速迭代让企业面临前所未有的竞争压力，产品落地速度和技术实力成为核心竞争力；这场由 AI 引发的行业变革，不仅考验着企业的资源整合能力，也推动着全球科技行业从规模扩张向质量优先转型。与此同时，AI 带来的效率提升成为裁员的另一重推手，扎克伯格此前就表示，如今一位顶尖人才配合 AI，就能完成过去一个团队的工作，这一趋势也与亚马逊、Block 等企业因 AI 工具普及而裁员的行业现象相契合。
2026-03-16 12:27:01
180
原创 阿里开源三款Qwen3.5新模型创中等规模性能新高，可在消费级显卡运行
在指令遵循、博士级推理、数学推理、多语言知识等多个权威榜单中，Qwen3.5-35B-A3B 与 Qwen3.5-122B-A10B 不仅超越了远大于其规模的上代旗舰模型 Qwen3-235B-A22B 和 Qwen3-VL，还显著优于 GPT-5 mini、gpt-oss-120b 等同类模型。阿里继除夕开源Qwen3.5-397B-A17B后，再度发布千问3.5系列三款中等规模新模型 —— Qwen3.5-35B-A3B、Qwen3.5-122B-A10B、Qwen3.5-27B。
2026-03-16 12:20:04
624
原创 Kimi Claw春节档营收超过去年 - 从失控到疯抢，OpenClaw掀起AI Agent产业争夺战
春节期间，Kimi率先推出支持一键部署的Kimi Claw，用户无需额外API和服务器配置，几秒内即可在浏览器创建应用，云端托管的持久化Agent还自带40GB存储、长期记忆能力，同时接入ClawHub 5000+社区插件，融合自研K2.5 Thinking 模型与实时搜索，实现开发、办公等多场景能力组合调用，彻底解决了传统OpenClaw部署繁琐的痛点。同时，它还能搭建 “第二大脑” 系统，实现笔记、对话记录的智能整合与快速检索，还可与Obsidian等知识库工具打通，让知识管理更高效。
2026-03-16 12:18:41
249
原创 开源数据集成平台，简化ETL/ELT全流程，支持从API、数据库及文件中提取数据至数据库、数据仓库与数据湖 - Airbyte
Airbyte是一款开源的数据集成平台，支持从API、数据库及文件中提取数据至数据库、数据仓库与数据湖。通过 “开箱即用的连接器” 打破数据孤岛，让技术与非技术人员都能低成本实现数据的同步，同时支持ETL与ELT模式，目前已成为数据集成领域的主流工具之一。Github地址：https://github.com/airbytehq/airbyte文档地址：https://docs.airbyte.com/
2026-03-13 14:26:19
692
原创 只用一周时间通过AI工具重写Next.js，Cloudflare推出vinext重建前端开发边界
基准测试显示，在 33 路由应用中，vinext 基于 Vite 8 构建速度比 Next.js 快 4.4 倍，客户端 gzipped 包体积最大缩小 57%，目前已有客户将其用于生产环境。Cloudflare 曝出重磅技术成果：团队仅用一周时间，依托 AI 模型完成 React 全栈框架 Next.js 的重构，打造出基于 Vite 的替代框架 vinext，全程仅耗费 1100 美元的 AI token 成本，这一成果也被 Cloudflare CTO 称作 “Next.js 的解放日”。
2026-03-13 14:25:46
322
原创 Anthropic旗下Claude Code系列工具的接连更新，引发AI似乎正在颠覆传统互联网行业的恐慌？市场正在用真金白银投票
事实上，这并非 Anthropic 首次搅动美股市场。此次 AI 恐慌背后，是传统产业面对技术变革的集体焦虑，而未来 AI 技术还将重构多少行业的代码、系统和流程，成为摆在所有企业面前的核心问题。人工智能初创公司 Anthropic 旗下 Claude 系列工具的接连更新，引发了美股市场的剧烈震荡，AI 技术对传统产业的颠覆性影响成为市场核心焦虑点，从软件股到大型科技企业，多板块遭遇重挫，市场陷入 “先抛售再求证” 的恐慌交易模式，而 Anthropic 即将到来的产品直播更让市场的不安情绪达到顶峰。
2026-02-26 11:05:38
515
原创 Vanna-ai - 让自然语言对话SQL数据库成为可能，支持多种数据库，大模型和向量存储
初始化向量存储（ChromaDB）# 初始化LLM（OpenAI）
2026-02-24 15:15:03
1171
原创 Meta超级智能团队的Summer Yue，眼睁睁地看着自己部署的OpenClaw 删光了自己的邮件。AI 的行动完全自主，快速且无法阻止
这一事件引发了网友的广泛讨论与争议，不少人认为作为 AI 安全总监，Summer Yue 过于自信，未将智能体置于沙盒中运行，且误将提示级指令当作硬性安全机制，而 LLM 本就易误解、过度执行指令。Meta 超级智能团队的 AI 安全与对齐总监 Summer Yue 遭遇了极具戏剧性的 AI 失控事件，其部署的 OpenClaw 智能体在未获授权的情况下狂删其 200 多封邮箱邮件，成为科技圈热议话题。这一事件暴露了当下 AI 智能体技术的核心安全漏洞，引发行业对 AI 可控性的深度思考。
2026-02-24 15:13:17
499
原创 DeepSeek-OCR 2重磅开源: 让AI像人一样 “读” 图，以因果推理开启视觉理解新范式
在覆盖中英文 9 大文档类别的 OmniDocBench v1.5 基准测试中，其综合得分达到 91.09%，较前代模型提升 3.73%，尤其在阅读顺序识别的编辑距离指标上，从 0.085 降至 0.057，体现出更强的逻辑连贯性。第二阶段冻结视觉分词器，联合优化编码器与解码器，采用4阶段流水线并行提升训练效率；总体而言，DeepSeek-OCR 2通过因果推理重构视觉理解逻辑，既实现了性能与效率的双重突破，又为多模态智能的发展奠定了基础，有望在文档处理、图表分析等依赖复杂视觉理解的场景中引发变革。
2026-01-30 15:51:26
428
原创 阿里Qwen3-Max-Thinking重磅发布：万亿参数模型角逐全球顶级AI行列
该模型作为通义团队迄今规模最大、能力最强的语言模型，包含 Base、Instruct 和 Thinking 多种版本，在推理、知识储备、工具使用及智能体能力等核心维度实现全面升级，直接对标 GPT-5.2-Thinking、Claude-Opus-4.5、Gemini-3 Pro 等国际顶级闭源模型。模型发布后迅速引发行业热议。目前，Qwen3-Max-Thinking 已在千问 App、PC 端及网页端同步上线，用户可免费体验，对应 API（qwen3-max-2026-01-23）也已开放。
2026-01-30 15:48:36
642
原创 数据仓库的前沿技术趋势和理论实践，AI+数仓
随着物联网、多媒体技术的发展，企业面临的数据类型日益丰富，包括结构化数据、半结构化数据和非结构化数据如文本、图像、音频、视频等。例如，在电商领域，建模工具可以将商品的文本描述、图片、用户评价等多模态数据进行整合建模，为用户提供更精准的商品推荐。通过对多模态数据的建模分析，企业能够更全面地了解业务情况，提升数据分析的准确性和深度，为企业决策提供更丰富的数据支持。例如，在智能交通领域，通过实时处理车辆行驶数据、路况数据等，建模工具可以实时优化交通流量模型，为交通管理部门提供实时的交通疏导建议。
2026-01-26 14:45:32
468
原创 数据仓库建模工具大盘点 - 从建模工具介绍、选型建议到行业应用案例
PowerDesigner是一款由SAP开发的业界领先的企业级数据建模与架构设计工具，广泛应用于数据库设计、业务流程建模、系统架构规划等领域。它采用模型驱动方法，将业务与IT紧密结合，支持多种关系数据库管理系统/版本，如Oracle、SQL Server、PostgreSQL、Snowflake等。
2026-01-12 11:21:23
769
原创 ChatGPT “暗推“ Agent Skills机制，GPT-5.2陷性能与争议双重漩涡
近期，AI领域两大动态引发行业广泛讨论：一是有开发者发现ChatGPT悄然支持了由Anthropic开创的Agent Skills机制，二是OpenAI新发布的GPT-5.2虽在调用量上表现亮眼，却深陷性能不及预期、成本高企及测试争议的舆论风波，折射出当前大模型发展中功能创新与体验落地的双重挑战。
2026-01-04 09:57:30
965
原创 九种常见的数据分析模型
每天的独立session数是多少？黏性分析是在留存分析的基础上，对一些用户指标进行深化，除了一些常用的留存指标外，黏性分析能够从更多维度了解产品或者某功能黏住用户的能力情况，更全面地了解用户如何使用产品，新增什么样的功能可以提升用户留存下来的欲望，不同用户群体之间存在什么样的差异，不同用户对新增的功能有何看法。运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率的差异对比，了解转化率最高的用户群体，分析漏斗合理性，并针对转化率异常环节进行调整。
2025-12-22 11:49:34
701
原创 Gemini Deep Research与OpenAI GPT-5.2同日发布 - AI巨头竞争白热化
近期，AI领域迎来关键节点，谷歌与OpenAI同日发布重磅产品，行业竞争进入新阶段。谷歌推出全新“重构版”Gemini Deep Research深度研究智能体，以Gemini 3 Pro为核心基础模型。该智能体主打长周期内容收集与综合任务，幻觉率较此前模型降低40%，能自主规划研究路径，通过多步骤强化学习在复杂信息环境中精准导航，还可处理超大规模上下文，为结论自动附上结构化可追溯引用，从内容生成工具升级为带证据链的专业研究智能体。
2025-12-22 11:42:13
1370
1
原创 企业数据仓库建模工具选型的常见误区与规避策略
企业数据仓库建模工具选型并非 “选功能最全、技术最新、价格最低” 的工具，而是 “选与业务需求匹配、与团队能力适配、与现有架构兼容、长期成本可控” 的工具。规避误区的核心在于：先明确 “我需要什么”（业务需求、团队能力、数据源），再评估 “工具能提供什么”（功能、适配性、生态），最后计算 “长期投入多少”（采购、运维、培训成本）。只有通过系统性思考与多维度验证，才能选出真正支撑企业数据仓库长期发展的工具。
2025-12-18 19:58:52
953
原创 DeepWiki - 开源的自动化文档生成工具，让你轻松阅读Github仓库源码，支持Deep Research
今天分享一款强大的、开源的，可以将GitHub仓库自动转换为结构化知识库的智能平台 - DeepWiki。对于有阅读源码、需要深入了解某个技术框架的同学，这款神器会有很大的帮助。
2025-12-18 19:52:01
889
原创 AIGC、Agent、MCP、A2A和AG-UI促进AI从基础能力到协同生态演进
近年来，人工智能技术迎来爆发式发展，AIGC、Agent、MCP等概念相继涌现并快速迭代，推动AI从单一工具向协同生态演进，AI技术从“能对话”进化到“能干活”。2022年ChatGPT点燃了AIGC；Function Calling催生了Agent；再往后，行业发现「如何让模型低成本地调用外部世界」成为新瓶颈，于是MCP、A2A和AG-UI三大协议陆续登场。
2025-12-01 16:38:33
816
原创 如何获取Yarn和Spark UI界面指标信息
以下具体的接口功能和返回数据中的指标信息，参考官方文档：http://hadoop.apache.org/docs/r2.6.4/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html。当然，Spark官网也有相关的介绍：http://spark.apache.org/docs/2.4.1/monitoring.html。ip和port：Yarn ResourceManager active节点的ip地址和端口号。
2025-11-21 10:25:39
458
原创 Hive高阶分析函数GROUPINGSETS,CUBE, ROLLUP, collect_set, sort_array, parse_url
如collect_list为例子，可以发现日期并不是按照顺序组合的，这里有需求需要按照时间升序的方式来组合。示例：实现同一数据集的多重group by操作。collect_list：和collect_set一样，但是没有去重功能。可以实现这样的上钻过程：月天的PV -> 月的PV -> 总PV。CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。将分组内的数据放入到一个集合中，具有去重的功能。根据GROUP BY的维度的所有组合进行聚合。用于解析url相关的参数，直接上sql。–按照时间升序来组合。
2025-11-17 11:56:06
367
原创 Hive经典面试题之连续登录、行转列和列转行
在日常工作进行数据的ETL或者面试时，经常遇到类似的问题，比如"统计连续N天交易额超过100万的店铺"、"统计连续登录天数超过3天的用户"等。对于这类问题，思路基本都是一样的。本文将介绍常用的两种解决方案。以"统计连续登录天数超过3天的用户"为需求。注：以下用到的SQL函数，建议参考《Hive的利器：强大而实用的开窗函数》
2025-11-17 11:48:24
292
原创 AI驱动全球开发者生态巨变 - TypeScript超越Python登顶最常用语言、AI全面融入开发全流程、开发者规模爆发式增长
近期，TypeScript首次超越Python成为GitHub贡献者数量最多的语言，以约4.2万名贡献者优势登顶，AI辅助开发与默认支持该语言的开发框架是主要驱动力。其严格类型系统能减少代码模糊性、捕获LLM生成代码的错误，且入门门槛低，新增仓库数量领先。Python虽退居第二，但在AI和数据科学领域仍占主导，驱动近半数新增AI仓库，Jupyter Notebook仍是首选探索环境。JavaScript贡献者体量庞大但增长放缓。此外，开源开发活动创纪录，印度是新增开发者最大来源国。
2025-11-14 12:19:20
445
原创 如何选择适合企业的数据仓库建模工具？
在数字化和Data + AI时代，数据仓库建模工具是企业构建高效数据体系的核心支撑。然而，市场上工具类型繁多、功能各异，选择一款适合自身的工具需要系统性考量。以下从需求分析、工具匹配、决策验证三个维度，为企业提供完整的选型方法论。
2025-11-10 12:30:29
762
原创 Spark通识Spark RDD/Spark SQL/SparkStreaming/StructuredStreaming/MLlib/GraphX/Spark R
在说Spark之前，笔者在这里向对Spark感兴趣的小伙伴们建议，想要了解、学习、使用好Spark，Spark的官网是一个很好的工具，几乎能满足你大部分需求。同时，建议学习一下scala语言，主要基于两点：1. Spark是scala语言编写的，要想学好Spark必须研读分析它的源码，当然其他技术也不例外；2. 用scala语言编写Spark程序相对于用Java更方便、简洁、开发效率更高（后续我会针对scala语言做单独讲解）。书归正传，下面整体介绍一下Spark生态圈。
2025-11-10 12:23:01
641
原创 Kafka作为分布式消息系统的系统解析
Apache Kafka由Scala和Java编写，基于生产者和消费者模型作为开源的分布式发布订阅消息系统。它提供了类似于JMS的特性，但设计上又有很大区别，它不是JMS规范的实现，如Kafka允许多个消费者主动拉取数据，而在JMS中只有点对点模式消费者才会主动拉取数据。Kafka对消息保存时根据topic进行归类，发送消息者称为producer，消息接收者称为consumer。Kafka集群由多个Kafka实例组成，每个实例称为broker。
2025-11-03 11:49:42
1035
原创 Redis事务和持久化机制（RDB快照和AOF）
multi：开启事务用于标记事务的开始，其后执行的命令都将被存入命令队列，直到执行EXEC时，这些命令才会被原子的执行，类似于关系型数据库中的：begin transaction ，相当于MySQL的 start transaction。在事务中的所有命令都将会被串行化的顺序执行，事务执行期间，redis不会再为其它客户端的请求提供任何服务，从而保证了事物中的所有命令被原子的执行。和关系型数据库中的事务相比，在redis事务中如果有某一条命令执行失败，其后的命令仍然会被继续执行。将数据异步保存到磁盘。
2025-11-03 11:43:21
613
原创 Flink在与AI集成的路上再次“遥遥领先” - Flink Agents
在AI技术快速渗透企业场景的当下，如何让AI Agent稳定处理实时海量数据、实现高容错与低时延运行，成为企业数字化转型的关键需求。Apache Flink Agents作为Apache Flink的全新子项目，恰好填补了这一空白，将流处理能力与AI Agent功能深度融合，为企业级Agent应用提供了全新解决方案。以下从项目概览、核心价值、技术特性包括Java/Python/SQL code示例、版本与roadmap等方面，梳理其核心要点。
2025-10-27 11:00:42
1344
原创 聊聊Spark的分区
Spark对接不同的数据源，在第一次得到的分区数是不一样的，但都有一个共性：对于map类算子或者通过map算子产生的彼此之间具有窄依赖关系的RDD的分区数，子RDD分区与父RDD分区是一致的。首先来了解一下Spark中分区的概念，其实就是将要处理的数据集根据一定的规则划分为不同的子集，每个子集都算做一个单独的分区，由集群中不同的机器或者是同一台机器不同的core进行分区并行处理。对于可切分文件，如text文件，那么通过加载文件得到的RDD的分区数默认与该文件的block数量保持一致；
2025-10-27 10:43:33
446
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人