- 博客(125)
- 收藏
- 关注
RSS订阅原创 从 Spark 到 StarRocks：实现58同城湖仓一体架构的高效转型
在使用 StarRocks 的过程中，我们从实践中总结出了关于性能、稳定性和易用性的关键经验。
2025-04-21 14:27:37
279
原创 效率神器：程序员必备的在线工具合集（下）
本文介绍了文件类、编码类和开发类的高效工具，包括Parquet、Json、Orc、Avro文件解析工具，支持元数据提取和Excel转换；Hex16进制、MD5、Base64等编解码工具；以及正则开发、JSON处理、时间戳转换等开发类工具，助力程序员提升工作效率。
2025-04-21 12:03:54
396
原创 基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
使用参数可以指定上游表名到下游 Kafka Topic 名的映射关系。无需使用 route 配置。与之前介绍的通过 route 实现的不同点在于，配置该参数可以在保留源表的表名信息的情况下设置写入的 Topic 名称。在前面的 YAML 文件中增加配置指定映射关系,每个映射关系由;分割，上游表的 TableId 和下游 Kafka 的 Topic 名由source:...sink:...pipeline:......"after": {"id": 1,},"op": "c",
2025-04-20 10:15:00
585
原创 大数据职业发展方向&知识图谱
大环境不是很好，打铁还需自身硬，无论任何情况下，只有不断提升自我，才能做到内心平静！最近两天工作不是很忙，带着部门的小伙伴梳理复盘了一下大数据方面的知识点。大数据相关工作主要分为数据开发、平台开发、基础架构三部分。
2025-04-20 10:00:00
982
原创 终于有人把“数据建模”讲清楚了！
大家做数据多年，在不少企业的数据系统中，可能会遇到这样的问题：不同系统里都有个叫“客户ID”的字段，一个是营销系统里的潜在客户编号，一个是CRM里的注册用户ID，另一个是订单系统里的付费客户主键，这些字段名看起来一样，实际含义却完全不同，数据团队拉错字段算错指标，分析有误，业务根本无法展开。这些问题看似是字段管理没做好，其实背后真正的原因是：没有建立起统一的数据模型，数据结构在最开始就没对齐。数据建模数据建模是将业务世界中的对象、行为和规则，通过结构化方式映射为数据模型的过程。
2025-04-19 10:15:00
648
原创 Doris x Paimon湖仓一体建设技术要点
湖仓一体」这个概念大家应该都不陌生了。我们在之前的文章中提高过，关于如何实现「湖仓一体」，方案并不是统一的，和你当前的技术栈以及业务场景息息相关。其中基于Doris x Paimon(或者其他的数据湖组件例如Hudi等)，是其中一个可选的方案。本文写的就是这种方案主要解决的问题和用到的能力。
2025-04-19 10:00:00
618
原创 效率神器：程序员必备的在线工具合集（上）
今天给大家介绍一个程序员必备的在线工具，它汇聚了多种实用的编程和数据处理工具，通过可视化界面和一键操作，简化复杂的编程和数据处理任务，提高工作效率。
2025-04-18 14:59:17
471
原创 从阿里、腾讯、字节、快手四大厂实践，看湖仓一体如何解决大数据核心痛点
维度阿里妈妈腾讯视频字节跳动快手核心诉求实时决策指标治理多引擎协同查询性能存储选型PaimonIcebergHudiHudi+Hive计算引擎多引擎协同Doris优化重点毫秒级延迟口径一致性灵活扩展成本控制典型收益CTR提升2%+开发效率+50%组件减少50%查询100ms响应经验启示1.实时性优先场景：选择Paimon+Flink组合，关注Change-Log模式和点查优化2.治理复杂场景：采用StarRocks+指标中台，强化口径一致性管理。
2025-04-18 10:55:15
1090
原创 推荐一款好用的在线智能笔记工具-NotepadAI
对常用的AI操作，可添加为常用的AI功能，方便后续一键调用，如：翻译，扩写，续写，改写等。AI功能还可发布到工具箱。比如小编习惯性的每天下班记每天完成了什么任务，都是日常的随手记，写周报的时候随手调用AI工具，就能一键生成周报。同样适用于其他汇报。2、一键代码解释。有时候从同事那边接手的代码真的让人措手不及，上百行的SQL一个注释都没有，这时候就用上一键代码，直接帮你生成逐行代码解释。3、内容创作对于内容创作者来说就更方便了，随手调用改写，续写，扩写，优化内置AI工具。
2025-04-17 14:08:18
629
原创 DeepSeek在数据仓库的10大应用场景
DeepSeek提供智能数据集成、清洗、建模、分析等12大应用场景，涵盖数据仓库全生命周期管理，支持实时处理、预测分析与自动化运维，帮助企业实现高效数据治理及基于数据的决策支持，推动业务增长与创新。
2025-04-17 09:45:40
872
原创 干货！Prompt合集网站
它涵盖了图像视频、数据分析、营销策划、生活助手、教育培训、代码编程、职场效率、医疗健康、翻译助手、内容创作、应聘求职等分类，涵盖职场、生活、教育等领域。还可以直接与大模型进行对话，对话支持豆包，文心一言，deepseek等主流大模型，免去了来回切换大模型的麻烦。自从用了这个提示词相关的网站工作效率都提高了不少，快点击链接使用！生成的提示词，还可以一键发送给大模型测试，如果测试结果不满意可优化调整提示词。除巨人对话外，点击新增提示词还可以一键发布提示词。如果没有你满意的提示词，还可以一键直达。
2025-04-16 15:46:53
288
原创 元数据管理：组织数据资产的“导航仪”与“说明书”
元数据的经典定义是“描述数据的数据”，但如何让业务人员快速理解？简单来说，就是描述某个数据本身特征的数据。而这些特征，我们一般称之为属性，一般包括技术属性、业务属性和管理属性。户口本：记录了个人的姓名、年龄、血型、亲属关系等个人相关数据信息，也记录了该户口本生成的时间、数据来源于哪个派出所等信息。户口本作为这些信息的载体，它为数据提供了最基本的身份标识和描述。户口本就像一个系统的数据库一样，记录了个人数据信息的名称、长度、是否为空、这个数据信息的含义等；
2025-04-16 10:01:40
522
原创 如何写出高质量的提示词(附提示词)
随着ChatGPT、MidJourney等AI工具的普及，如何与AI高效沟通成为关键技能。许多用户发现，同样的模型，不同人使用效果天差地别——本文将系统讲解高质量提示词的写作方法，结合案例帮助你在编程、写作、设计等场景中最大化AI效能。通过练习和反馈，你会逐渐掌握提示词的“调教”技巧。
2025-04-15 15:09:18
521
原创 畅想描绘：多模态数据治理体系框架
站在数据治理和人工智能的侧面，从数据的产生到价值的挖掘，再到服务的提供，离不开大数据技术、人工智能技术，以及其他技术的应用，因此，面对一个新兴的技术，不必感到恐慌和不解，这就是一个技术而已，至于怎么用，要看业务。多模态数据治理中，多模态数据融合和模型的训练推理将是重点关注的领域。数据治理是人工智能的数据基础，数据治理的目的是在业务价值驱动下提供高质量、有价值的大量数据，而人工智能本身是数据应用的一种实现方式，会延伸出多样化的商业模式，数据治理和人工智能密不可分，数据治理强调修炼内功，人工智能侧重数据应用。
2025-04-15 10:46:31
728
原创 NotepadAI智能笔记助手，效率直接翻倍！
对常用的AI操作，可添加为常用的AI功能，方便后续一键调用，如：翻译，扩写，续写，改写等。AI功能还可发布到工具箱。
2025-04-10 13:48:45
228
原创 在线Notepad智能笔记——你的全能AI创作助手
传统笔记工具已难以满足多样化需求——单一的功能模块、割裂的AI应用场景让知识管理效率大打折扣。Notepad智能笔记应运而生，支持。•个性化指令：为常用操作（如会议纪要生成、待办事项整理）设置快捷AI指令，一键触发，效率翻倍。•智能模板库：保存高频使用的AI提示词（如“小红书风格文案”），随时调用，省时省力。•临时调用AI：选中文本，快速执行翻译、润色、代码解释等任务，无需切换窗口！•一键生成分享链接：将笔记快速分享给同事或朋友团队协作更高效。•支持导出，方便跨平台使用。
2025-04-03 16:17:52
454
原创 巨人对话上线啦！集多模型支持、内容分享、提示词管理于一体的智能对话工具
对话记录支持生成链接，一键分享至微信、钉钉、Slack等平台，如：团队讨论时，快速共享AI生成的方案、代码或报告草稿，减少重复沟通成本。无需跳转平台：内置 文心大模型、DeepSeek、豆包 等主流AI引擎，一键切换，对比回答风格，找到最佳解决方案。：优质对话内容一键发布，教别人如何玩转AI，同时也可以通过这种方式分享自己的优质提示词。一款集多模型支持、内容分享、提示词管理于一体的智能对话工具。：保存常用指令，下次对话直接调用，告别重复输入。
2025-04-02 16:53:20
413
原创 模型设计、数据架构、数据治理一体化大数据平台
随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处理。本文主要从总体思路、模型设计、数据架构、数据治理四个方面介绍了如何利用大数据平台的特性，构建更贴合大数据应用的数据仓库。新环境下的数据应用呈现业务变化快、数据来源多、系统耦合多、应用深度深等特征。那么基于这些特征，该如何构建数据仓库呢？我认为应该从稳定、可信、丰富、透明四个关键词入手。其中，稳定要求数据的产出稳定、有保障；可信意味着数据的质量要足够高；
2025-04-02 15:21:56
1263
转载 Manus 技术架构设计剖析和复刻落地实现
最近，Manus 在 AI 圈迅速走红，上线首日便全网“一码难求”，当晚更有团队开源了 OpenManus 项目，整个过程跌宕起伏，充满戏剧性！我有幸体验了 Manus 的运行效果，结合其实际表现、OpenManus 的开源代码以及网传的 Prompt 信息，大致分析出了 Manus 的技术架构设计实现原理，并尝试复刻了一个版本，下文详细剖析。Manus 是中国创业公司 Monica 发布的全球首款通用 Agent（自主智能体）产品。
2025-04-02 14:43:33
85
原创 提示词广场正式上线：一站式AI提示词解决方案，赋能全场景效率提升
在人工智能技术飞速发展的当下，如何高效利用AI工具提升个人与团队效能，成为众多从业者关注的焦点。作为连接人类需求与AI能力的关键桥梁，提示词（Prompt）的重要性日益凸显。在此背景下，「」应运而生，汇聚了涵盖等十余个领域的海量优质提示词，为不同行业、不同需求的用户提供了全方位的支持。
2025-04-01 15:41:03
442
原创 DeepSeek对面向人工智能的数据治理市场的影响到底有多大？
我最近在反思AI对数据治理领域的影响。各类主流机构纷纷提出了“ DG4AI”（Data Governance for Artificial Intelligence）的理念，但这个理念似乎还并未形成规模化的影响，这可能源于数据治理体系的成熟以及AI技术本身作为技术融入到体系而已。AI技术本身的爆炸点在国内市场由于DeepSeeK的出现轰炸了一圈，但我还是想反思一下“DG4AI”到底在说什么？
2025-04-01 14:35:08
1024
原创 AI时代的产品经理，都需要哪些硬性能力？
因为产品跟业务是密不可分的，产品经理在某一个行业里的积累越深厚，也就印证着他的业务认知，业务的 know how 会越精准，这也是很多公司选择候选人的一个方式，会以这种方式来产出JD，找到相应的行业经验丰富的产品经理。PC时代，比如说像宝洁的产品经理，主要承担的角色是需求分析师，包括后期的像IBM、 Oracle 的软件类产品经理，也是把销售拿到的客户需求，拿到团队内部进行分析，然后转化成研发可以落地的产品语言，所以这个阶段的产品经理，更像是一个项目协调者的角色，思考和行动的占比，行动会多于思考。
2025-03-28 16:39:21
670
原创 提示词应用：IT模拟面试
抓住“金三银四”求职季的小尾巴，专业且充分的面试准备显得尤为重要。本文将详细且系统地介绍如何巧妙运用提示词技术，开展高效且有针对性的IT岗位模拟面试训练。这一训练方案具备三大核心价值，助力求职者在竞争激烈的IT职场中脱颖而出：1.：通过模拟面试，能够迅速发现自身专业知识中的盲点，从而在正式面试前及时查漏补缺，完善知识体系。2.：模拟面试过程有助于培养流畅自如的表达能力和条理清晰的逻辑思维，使求职者在面对面试官时更加从容不迫。3.
2025-03-28 16:29:01
790
原创 Java性能调优实战指南：从理论到实践
•GC算法选择低延迟场景：G1（-XX:+UseG1GC）或 ZGC（JDK11+）高吞吐场景：Parallel GC（默认）•工具：MAT（Memory Analyzer Tool）分析堆转储文件，定位未释放对象引用链。1.指标收集JVM：GC次数、堆内存使用率、线程状态系统：CPU负载、磁盘IO、网络吞吐量。2.遵循二八定律80%的性能问题往往由20%的代码引起，优先解决核心路径的性能问题。•合理设置连接数（公式：连接数 = (核心数 * 2) + 磁盘数）•忽略操作系统层面的限制（如文件句柄数）
2025-03-26 16:48:16
334
原创 AI数据分析：一键生成数据分析报告
假设你是一家新零售企业的销售分析师，有一份销售数据，数据结构如数据结构包括：日期、会员id，门店编号、城市、渠道、商品id、商品类别、销售金额、销量、客单价、等基础字段。未来的赢家是“双核驱动型”人才——既能用AI提效，又能用业务与批判性思维创造不可替代的价值。作为一名数据分析师，我们经常需要做一些数据分析报告，今天我就来手把手教你如何使用大模型一键生成高质量的数据分析报告，提高你的工作效率。小贴士：小编实测，先用AI帮我们生成数据分析维度再用这个数据分析维度生成可视化报告会比直接生成数据分析报告更全面。
2025-03-26 16:40:11
782
原创 多模态数据治理-DeepSeek加速AI落地
多模态数据治理指对多种数据结构的数据进行有效管理、存储、处理、分析和应用的过程。多模态数据主要包括文本、图片、视频、音频等类型的数据。多模态数据治理的目的是让不同类型的数据能够互相融合，形成新的内容供使用。我们可以把这个过程理解为是一个新内容创作和生成的过程。
2025-03-25 14:31:24
1411
原创 AI数据分析：一键生成数据分析维度
大模型不仅能够帮助数据分析师高效地识别出数据中的关键特征，还能根据业务需求生成最适合的分析维度，大大提升了数据分析的效率和精准度，减轻了数据分析师的工作负担。
2025-03-25 14:03:55
546
原创 DG4AI：人工智能+数据治理，如何融合？
综合考虑人工智能应用的具体需求，包括数据的准确性、完整性、一致性和时效性等。然而，这些目标往往难以量化和标准化，导致在实际操作中难以评估和优化。那么，确定数据质量的基准和目标，便成为对数据理解和业务理解的一种基础挑战。
2025-03-24 13:56:23
942
原创 一站式AI提示词开发与协作平台，高效赋能AI协作与知识管理
在AI对话中，提示词（Prompt）的质量直接决定结果优劣。传统工具依赖人工反复试错，效率低下。本平台推出AI驱动的智能提示词开发系统，实现三大革新：1.双界面协同开发左侧为提示词编辑区，右侧实时显示大模型响应结果，支持边写边测。通过对比不同提示词的输出效果，用户可快速迭代优化，将开发效率提升300%。2.多模型一键适配全面支持文心一言、DeepSeek、豆包等主流大模型，系统智能分析各模型特性，自动推荐适配的提示词结构，彻底告别“一词多试”的繁琐流程。
2025-03-24 10:34:35
1091
原创 Claude 3.7 Sonnet + MCP：快速构建全栈应用 | Remix 框架实战演示
不过，没关系，只需简单指示 Claude “继续”，它就能智能地接续生成，完全无需人工干预。3.告知 Claude 连接信息： 将 Supabase 的 URL 和 Key 复制给 Claude，并告知它需要连接 Supabase，存储用户预约信息，并在此基础上构建管理后台。视频中，我详细对比了 Remix 与大家熟知的 Next.js 框架，并解释了为何选择 Remix：。整个调试过程，Claude 就像一位经验丰富的技术专家，不仅能快速定位问题，还能提供清晰的解决方案，大大提升了开发效率。
2025-03-20 16:26:39
600
原创 2025 年程序员必看的长期副业选择指南
•2023年，GPT技术引领了人工智能领域的革命性浪潮，各类大模型如雨后春笋般涌现，呈现出百花齐放的繁荣景象。•2024年，随着RAG（检索增强生成）和微调技术的日益成熟，人工智能应用开始展现出初步的规模化效应。•2025年，Agent技术的重大突破将推动AI技术真正走向实际应用，实现从理论到实践的跨越式发展。•关键洞察表明，到2025年，技术成熟度、成本控制和应用效果三者将达到一个理想的平衡点，为人工智能的全面落地奠定坚实基础。
2025-03-20 16:12:42
314
1
原创 2025年的风口！| 万字长文，带你纵观大模型Agent，涉及研究痛点、应用场景、发展方向
最近大家都在提Agent，例如AutoAgent、Dify、Manus等，突然想到一个问题，那么什么才是Agent，有没有明确的定义呢？为此关于Agent的定义，网上搜索了一圈，说其最早“Agent”这个词可以追溯到古罗马时期，并且还能够从一些哲学家的哲学作品找到影子。一篇文章中说Agent的哲学概念泛指具有自主性的概念或实体，它可以是人造的物体，可以是植物或动物，当然也可以是人。这定义挺好的，我没意见。感兴趣的小伙伴可以就这个定义去搜索了解一下，把故事线梳理清楚了可以整篇论文了。
2025-03-18 09:29:39
895
原创 DeepSeek如何颠覆传统数据治理模式
以上实现方式，与传统数据治理平台实施数据治理并无不同，区别在于融合了人工智能的相关工具或能力。目前，DeepSeek在数据治理领域并没有具体案例，诸多企业通过集成DeepSeek能力以增强大模型的能力，主要应用在通用智能问答、代码优化、运维服务提升等方面。
2025-03-18 09:11:06
1069
原创 巨人（大模型）对话功能上线啦！多平台大模型+提示词广场，助你轻松提效
巨人对话小工具创新性地推出了提示词广场功能，为用户提供了丰富的预制提示词模板，涵盖职场办公、创意写作、教育培训、生活助手等多个场景，同时，用户还可以将自己设计的优质提示词分享到广场中，与其他用户共同打造一个开放、共享的提示词生态。此外，系统提示词还支持自定义设置，用户可以根据自己的需求，创建专属的提示词，进一步扩展系统的功能。通过这种轻量级的智能体，用户无需复杂的操作，便能轻松实现多样化的任务，真正体验到科技带来的便捷与高效。这个智能体能够根据你的要求，自动生成相应的内容或执行特定的任务。
2025-03-17 15:32:33
347
原创 文心大模型4.5及X1重磅上线，真实测评
文心大模型4.5：原生多模态基础大模型文心大模型4.5是百度自主研发的新一代原生多模态基础大模型，通过多个模态联合建模实现协同优化，多模态理解能力优秀；具备更精进的语言能力，理解、生成、逻辑、记忆能力全面提升，去幻觉、逻辑推理、代码能力显著提升。多模态能力文本能力文心大模型4.5具备优秀的多模态理解能力，能对文字、图片、音频、视频等内容进行综合理解。不仅是“高智商”，文心大模型4.5也拥有“高情商”，网络梗图、讽刺漫画等等，理解起来都不在话下。◎。
2025-03-17 15:24:25
1264
原创 巨人对话上线啦！多平台大模型+提示词广场，助你轻松提效
在人工智能技术飞速发展的今天，智能对话工具已经成为我们工作、学习和生活中不可或缺的助手。然而，面对众多大模型平台和复杂的提示词设置，用户往往需要花费大量时间进行选择和调试。为了解决这一痛点，应运而生，它通过多平台大模型集成、提示词广场和一键分享等功能，为用户提供了一站式智能对话解决方案，助力用户大幅提升效率，轻松应对各种场景需求。。
2025-03-13 16:16:05
329
原创 代码写到一半电脑死机？Trae的救命功能今天必须安利
Remote-SSH 功能相当于是给你的电脑装上了"任意门"，让你能够坐在家里，却操作着远在云端的高性能服务器。不再受限于本地电脑的配置，不再担心环境搭建的繁琐，一切都变得简单高效。自定义模型配置则是让你拥有了选择不同"AI 专家"的能力。就像选择不同的老师一样，有的擅长前端开发，有的精通数据分析，你可以根据需要随时切换，获得最适合当前任务的 AI 支持。这两个功能的结合，让 Trae 不仅仅是一个编程工具，而是一个能够真正提升开发效率、降低技术门槛的智能平台。
2025-03-13 11:17:55
1468
原创 当古老的 Ambari Metrics 遇上现代监控：我们如何重构一个停滞不前的监控系统
Ambari Metrics System (简称AMS) 诞生于大数据技术的早期阶段，是 Apache Ambari 提供的一个专为 Hadoop 集群设计的监控系统。它的核心目标是帮助用户实时了解集群的运行状况，及时发现并解决潜在问题。从架构上看，AMS 由四个主要层次组成：1.数据采集层◦Metrics Monitor：部署在集群的每个节点上，负责收集主机级别的指标（如 CPU 使用率、内存使用情况、磁盘 I/O 等）
2025-03-13 11:04:43
727
原创 王炸编辑器上线：AI改写、扩写、续写一站式解决方案
创作过程中常常面临灵感枯竭、表达重复或内容不够丰富等问题还在困扰你吗？巨人肩膀的应运而生，作为一款集AI改写、扩写、续写功能于一体的全能创作助手。
2025-03-12 16:33:18
612
【清华大学】第一弹 DeepSeek 从入门到精通.pdf
2025-02-27
【清华大学】第五弹 DeepSeek 与AI幻觉.pdf
2025-02-27
【清华大学】第二弹 DeepSeek 赋能职场.pdf
2025-02-27
【清华大学】第四弹 DeepSeek+DeepResearch：让科研像聊天一样简单.pdf
2025-02-27
北京大学第二弹 DeepSeek系列-提示词工程和落地场景
2025-02-27
北京大学第一弹 DeepSeek系列-DeepSeek与AIGC应用
2025-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人