自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

我相信......

爱就一个字

  • 博客(768)
  • 资源 (3)
  • 收藏
  • 关注

原创 大模型系列:提示词管理

既然大模型应用的编程范式是面向提示词的编程,需要建立一个全面且结构化的提示词库, 对提示词进行持续优化也是必不可少的,那么如何在大模型应用中更好的管理提示词呢?1. 提示词回顾提示词在本质上是向大型语言模型(例如GPT-4)提出的具体问题,它们作为初始输入,指导着人工智能生成相应的输出。在利用这些大模型进行查询时,妥善管理提示词是至关重要的。由于这些模型的输出具有一定的随机性,即使使用相同的提示词...

2024-06-16 20:24:29 340

原创 7B?13B?175B?解读大模型的参数

大模型也是有大有小的,它们的大小靠参数数量来度量。GPT-3就有1750亿个参数,而Grok-1更是不得了,有3140亿个参数。当然,也有像Llama这样身材苗条一点的,参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量,而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”,越多就能让模型更聪明,更能理解数据中那些错综复杂的关系。有了这些“脑细胞”,模型在处理任务...

2024-06-02 20:24:41 4454 2

原创 解读大模型应用的可观测性

似乎在一夜之间,每个IT企业的待办事项清单以及招聘启事都包含了生成式AI,基于大模型的应用已经在改变人们的工作、学习、写作、设计、编码、旅行和购物的方式,而且可能只是冰山一角。大模型应用并不神秘,仍然是一种软件系统。就像使用一个库或者web服务,以及SaaS乃至云计算服务,我们需要对库、服务、SaaS以及平台进行评估、监控和追踪,这可以被粗略地认为是它们的可观测性。对大模型应用而言,也是如此。1....

2024-05-26 20:24:30 4425

转载 云计算行业进阶指南

【引】 多年前,我跟亚孟相识于百度,当时他在百度云,我在那时的智能硬件事业部。在一个微信群里各自张狂,就约在百度大厦的咖啡馆当面互吐,于是成了朋友。亚孟是个难得的具有产品思维和商业意识的技术人,对云计算有着独到而深刻的见解和实践能力。而且,他是一个趣人,说话犀利又透着幽默,在他的公众号 “云算计”系列文章中可以看到他的很多本色表演。最近, 他将多年云计算相关的经验笔耕成册,即《云计算行业进阶指南》...

2024-05-23 20:24:24 589

原创 数据集中的10种变量类型

在任何数据集中,尤其是表格形式的数据集中,我们通常将列分类为特征或目标。在处理和分析数据时,理解哪些是特征哪些是目标对于构建有效的模型至关重要。进而,作为变量查看或计算数据之间的关系。这种关系可以是简单的线性关系,也可以是复杂的非线性关系。通过统计分析和机器学习技术,可以揭示变量之间的潜在联系,这些联系有助于我们理解数据的内在结构和模式。例如,我们可能会发现某些特征与目标之间存在强相关性,这意味着...

2024-05-19 20:24:18 614

原创 DevOps 温故知新

【引】伴随着微服务架构以及云技术的广泛使用,DevOps相应地引起了人们的关注,尤其在互联网企业展开了大量的探索和实践。去年赋闲在家的时候, 有幸精读了三本书,分别是《持续架构实践——敏捷和DevOps时代下的软件架构》,《精益DevOps——快速安全的IT交付宝典》和《基础设施即代码——模型驱动的DevOps》, 于是,温故知新,老码农对DevOps 又有了不同的体会。DevOps的出现是“左移...

2024-05-12 20:24:13 849

原创 大模型系列之解读MoE

Mixtral 8x7B 的推出, 使我们开始更多地关注 基于MoE 的大模型架构, 那么,什么是MoE呢?1. MoE溯源MoE的概念起源于 1991 年的论文 Adaptive Mixture of Local Experts(https://www.cs.toronto.edu/~hinton/absps/jjnh91.pdf)。这个概念与集成学习方法相似,旨在为由多个单独网络组成的系统并建...

2024-05-05 20:24:51 952

原创 数据工程师常见的10个数据统计问题

数据工程师自诩自己是“比任何软件工程师更擅长统计,比任何统计学者更擅长软件工程的人”。这里枚举了数据工程师常见的10个数据统计问题,希望对大家有所帮助。1. 不完全理解目标函数数据工程师希望建立“最佳”的模型。但是如果不知道目标和目标函数是什么,以及它是如何运作的,那么就不太可能建立“最佳”模型。这个目标甚至可能不是一个数学函数,而是一个改进商业目标的指标。大多数人花费大量时间理解目标函数以及数据...

2024-04-28 20:24:22 519 1

原创 RAG的10篇论文-2024Q1

大模型来了,论文都读不过来了。在大型模型的研究与工程应用领域,变化之迅猛令人瞠目,用“日新月异”来形容似乎都显得有些保守。即便是针对其中的RAG技术,自2024年伊始至今,学界就已经涌现出了很多高质量的研究论文。在这里,老码农挑选了十篇具有代表性的作品,以期对大家的探索和实践提供有益的参考与启示。1. RAG与微调:流水线、权衡和一个农业案例的研究论文标题:RAG vs Fine-tuning:...

2024-04-21 20:24:57 1088

原创 重温《Effective Java》

如果忘掉其他的数据结构, 只留下一种,或许会是哈希表;如果忘掉其他的安全技术,只留下一种,或许会是访问控制;如果扔掉手中其他的Java 手册,只留下一本,对于期望写出高效而优雅代码的工程师而言,那或许就是《Effective Java》。“大道易得,小术难求”, 如果一本书中道与术兼备,很可能会成为经典之作,而《Effective Java》一书则可能是经典中的经典。作者Joshua Bloch是...

2024-04-14 20:24:26 605

原创 提示工程中的10个设计模式

我们可以将提示词定义为向大型语言模型(Large Language Model,LLM)提供的一个查询或一组指令,这些指令随后使模型能够维持一定程度的自定义或增强,以改进其功能并影响其输出。我们可以通过提供细节、规则和指导来引出更有针对性的输出,从而使提示词更加具体。提示词越具体,输出就越精确,关于提示工程的更多信息可以参考《解读提示工程(Prompt Engineering)》以及《Agent ...

2024-04-06 20:24:37 664

原创 《基础设施即代码(IaC)》译者序

随着信息技术的飞速发展,我们对基础设施的理解也在不断深化。传统的基础设施往往被看作是硬件和软件的堆砌,而现在,基础设施的概念已经发生了巨大的变化。在当今这个信息化、数字化的时代,基础设施已经成为了企业和组织运行的核心。在云计算、大数据、人工智能等技术的推动下,基础设施不再是单纯的硬件和软件,而是一种基础架构,一种设计思想。在软件工程领域,DevOps是“左移”运动的重要体现。DevOps是一种创新...

2024-03-31 20:24:57 702

原创 大模型应用的10种架构模式

在塑造新领域的过程中,我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说,已经司空见惯,设计模式已成为程序员们的重要技能。然而,当我们转向大模型应用和人工智能领域,情况可能会有所不同。面对新兴技术,例如生成式AI,我们尚缺乏成熟的设计模式来支撑这些解决方案。作为一位老码农,我在这里整理总结了一些针对大模型应用的设计方法和架构模式,试图应对和解决大模型应用实现中...

2024-03-24 20:24:20 866

原创 浏览器架构的温故知新

【引子】前端可能是一个日新月异的领域,我们很难了解其中的方方面面。但是,前端系统一般都以浏览器作为运行环境, 对浏览器的进一步理解有助于我们更好地开发前端应用。这也是本文的由来之一,也作为对runtime的一次实例分析。浏览器架构经历了从单进程浏览器到多进程浏览器的转变。在强调稳定性、平滑性和安全性的同时,进程开始分解为渲染、 GPU、网络和插件等,提高了架构的整洁性。回顾浏览器的架构,需要进一步...

2024-03-17 20:25:02 1054 1

原创 双手沾泥,大模型应用并不神秘

【引子】感谢图灵出版社英子老师赠书——《大模型应用开发极简入门》,读过之后,正好和自己的大模型系列文章相互印证,于是将读后感汇成此文。如今,大模型应用已经渗透到各个领域,从自然语言处理到计算机视觉,再到推荐系统。这些复杂而强大的模型,如 GPT-3.5/4、文心一言和 Claude3,成为科技领域的瑰宝,引领着人工智能的浪潮。然而,对于许多初学者来说,这些大模型应用似乎充满神秘色彩,仿佛只有少数...

2024-03-10 20:24:12 1007

原创 《精益DevOps》译者序

计算机网络的发展导致了IT领域中的两个重要发展——虚拟化和分布式计算,云服务是虚拟化的一个直接体现,而微服务架构则是分布式计算的一个重要应用领域。不论是虚拟化还是分布式计算,都对软件工程中的研发效能提出了新的问题和挑战,于是DevOps 应运而生。然而。大道易得,小术难求。 我们很容易理解DevOps为IT服务交付带来的诸多益处,但对如何让DevOps 真正融入我们的软件工程中往往...

2024-03-03 20:24:50 990

原创 在大模型RAG系统中应用知识图谱

【引子】 关于大模型及其应用方面的文章层出不穷,聚焦于自己面对的问题,有针对性的阅读会有很多的启发,本文源自Whyhow.ai 上的一些文字和示例。对于在大模型应用过程中如何使用知识图谱比较有参考价值,特汇总分享给大家。在基于大模型的RAG应用中,可能会出现不同类型的问题,通过知识图谱的辅助可以在不同阶段增强RAG的效果,并具体说明在每个阶段如何改进答案和查询。知识图谱更类似于结构化数据存储,而不...

2024-02-25 20:24:30 2433

原创 面向知识图谱的大模型应用

【引子】春节期间,读了论文《An LLM Compiler for Parallel Function Calling》(https://arxiv.org/abs/2312.04511), 颇受启发,或许可以通过LLM Compiler 实现已有知识图谱系统的大模型赋能, 实现面向知识图谱的大模型应用。知识图谱的应用由来已久,如果企业已经投资了知识图谱系统,而且效果还不错,需要用LLM重新实现一...

2024-02-17 20:25:01 434

原创 大模型系列——解读RAG

RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上,覆盖了结合网络搜索引擎和 LLM 的问答服务,到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构,但什么是RAG呢?RAG又涉及了哪些具体的技术呢?1. 什么是RAGRAG即检索增强生成,为 LLM 提供了从某些数据源检索到的信息,并基于此修正生成的答案。RAG ...

2024-02-04 20:24:13 1502

原创 让知识图谱成为大模型的伴侣

大型语言模型(LLM)能够在短时间内生成非常流畅和连贯的文本,为人工智能的对话、创造性写作和其他广泛的应用开辟了新的可能性,然而,LLM也有着一些关键的局限性。它们的知识仅限于从训练数据中识别出的模式,这意味着缺乏对世界的真正理解。同时,推理能力也是有限的,不能进行逻辑推理或从多种数据源来融合事实。面对更复杂、更开放的问题时,回答开始变得荒谬或矛盾,美其名曰“幻觉”。为了弥补这些差距,检索增强生成...

2024-01-28 20:24:12 986

原创 API协议设计的10种技术

在这个数字时代,我们的日常生活中充斥着各种应用程序和系统之间的交互。无论是社交媒体、在线购物还是智能家居设备,它们都需要通过API(应用程序接口)来实现数据的传输和通信。然而,这些看似简单的操作背后隐藏着复杂的协议。API协议包含了一组规则和标准,用于定义不同系统之间如何进行通信和共享数据。它们充当了不同应用程序之间的桥梁,使它们能够相互理解和交流。API协议的设计和实现需要考虑到安全性、可靠性和...

2024-01-21 20:24:40 1087

原创 老码农眼中的数字孪生

数字孪生,自2016年起连续4年被Gartner列为十大战略科技发展趋势之一。数字孪生技术作为解决数字模型与物理实体交互难题,践行数字化转型理念与目标的关键使能技术,在支撑产品研制业务全流程、助力科研生产和管理的融合创新方面将发挥重要作用。那么什么是数字孪生呢?与物联网又有什么关系呢?与企业的数字化转型又有什么关系呢?1. 什么是数字孪生数字孪生的雏形 “镜像空间模型” 最早由美国密歇根大学Mic...

2024-01-14 20:24:32 984

原创 程序员关于学习的10件事

【引子】新年伊始,每个人都会定一点儿自己的学习目标或者学习计划。石头兄弟推荐给我一篇文章,其中阐述了一些对学习本身的认知,而且是站在程序员的视角上,https://cacm.acm.org/magazines/2024/1/278891-10-things-software-developers-should-learn-about-learning/fulltext,读后颇有感触,遂编译成文,分...

2024-01-07 20:24:23 6283 3

原创 梦里河山:自在正定,跨年寄语

‍‍雏鹰高飞,我们也渐渐失去了新年第一天去香炉峰顶祈福的动力。向往着梦里河山,于是启动了这次的跨年之旅。雾途放假的第一天,早早起床,7点钟开车驱往赵子龙的故乡——正定。万万没有想到,出了五环,晨雾越来越浓,能见度渐渐小于10米了。安全第一,我们驶入了固安服务区。停下车,居然看不到卫生间和加油站。求助于打扫卫生的大爷,才辨别了方向,寻到了永和豆浆,驻足休息。一个小时之后,窗外浓雾稍淡,出门寻找加油站...

2024-01-01 20:39:30 963

原创 2023年,不缀的脚步

匆匆,时光从指尖溜走,匆匆,时光染白了发梢,匆匆,时光在倾听着我们匆匆的脚步。2023年,平凡而又非常不同以往,一个50多岁的IT人再一次换了工作,对那些贩卖焦虑的人来说往往被称为特例,或者被当成幸存者偏差,浮躁和无奈会蒙蔽人们的视听,让人们看不到他们不能轻易得到的东西。事实上可能并不复杂,可以扪心自问,我们真的喜欢技术么?能够从工作中获得乐趣么?工作乐趣工作的乐趣大体有三个。第一个是赚钱养家,赡...

2023-12-28 09:10:12 884

原创 机器学习模型性能的10个指标

尽管大模型非常强大, 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比,解释现实中的物理现象,未必要用到量子力学。有些相对简单的问题,或许一个统计分布就足够了。对机器学习而言, 也不用言必深度学习与神经网络,关键在于明确问题的边界。那么在使用ML解决相对简单问题的时候,如何评估一个机器学习模型的性能呢?这里给出了10个相对常用的评价指标,希望对产研同学有所帮助。1. 准确率准确率是机...

2023-12-24 20:23:25 1452

原创 解读LoRA

大模型调优(finetuning)不仅仅是参数的优化,同样会受到非功能性约束的挑战,例如:计算效率约束:训练过程应该快速而廉价。内存计算高效:不应该需要大量的GPU来微调LLM。易于部署:不应该为每个要解决的任务部署LLM的多个副本。在一定程度上,LoRA(Low-Rank Adaptation)可以较好地面对这些挑战。使用LoRA,可以降低微调专用LLM的门槛,同时实现与端到端微调相当的性能,能...

2023-12-17 20:23:54 184

原创 《一书读懂物联网》前言

我们对知识的认知是有规律可循的,大都是从问题开始,对问题的界定、归纳等都是为解决知识增长或进化而服务的,正如波普尔知识进化图(见图 i-1)所示的那样。科学始于问题,发现问题是科学知识增长的起点,任何新的科学知识的产生都来源于问题。一个问题(P1)的技术解决方案(TS)往往不止一个,而是有很多个,各种技术解决方案形成一个集合,在对其进行严格的实际检验、明确场景、排除错误(EE)后,才能筛选出较好的...

2023-12-13 20:23:11 319

原创 《一书读懂物联网》作者序

“光阴荏苒,日月如梭”,这句话在物联网时代尤为贴切。随着信息技术的快速发展,物联网已成为当今世界上最热门的话题之一,将无数种设备、传感器、网络和应用程序联系在一起,形成一个庞大的网络,给我们的生活带来了前所未有的便利。虽然物联网已经进入了我们的日常生活,但对于大多数人来说,物联网可能仍然是一个相对陌生的概念,因为它牵扯的技术和概念比较庞杂。物联网作为一个超系统,它是什么、它如何运作、它的应用范围有...

2023-12-12 09:33:38 112

原创 全栈必备之SQL简明手册

【引子】曾经的少年问我SQL是什么,我一时似乎有千言万语,但又不知从哪说起。作为一名码农工匠,基础的东西也可能需要温故知新,系统梳理,常用常新。从编程语言的视角来看,SQL是一种强大而灵活的语言,具有嵌套特性,允许用户以高效且简洁的方式与数据库进行交互。通过SQL,用户可以轻松地对数据库中的数据进行CRUD等操作,从而满足各种数据处理需求。1. SQL 的基本原理作为一种高级的非过程化编程语言,S...

2023-12-10 20:24:00 102

原创 大模型应用设计的10个思考

技术不是万能的,但没有技术却可能是万万不能的,对于大模型可能也是如此。基于大模型的应用设计需要聚焦于所解决的问题,在自然语言处理领域,大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。利用大模型, 我们是在解决具体的生产和生活中的问题,产品和技术上的设计仍然不可或缺。那么,如果大模型正在重新构建软件工程的未来,我们是否应该遵循一些基本原则呢?1. 模...

2023-12-03 20:23:33 177

原创 解读向量数据库

不论是RAG,还是Agent,几乎每个LLM 驱动的应用程序都可能会用到向量数据库。那么,向量数据库是什么?与传统数据库有何不同?又如何选择向量数据库呢? 本文是老码农关于向量数据库的学习笔记。1. 什么是向量数据库?首先,我们需要理解什么是向量?向量是基于不同特征或属性来描述对象的数据表示。每个向量代表一个单独的数据点,例如一个词或一张图片,由描述其许多特性的值的集合组成。这些变量有时被称为“...

2023-11-26 20:23:16 5149 3

原创 大模型应用框架之Semantic Kernel

随着大模型应用开发的兴起,各种应用开发框架也蓬勃兴起。对应于大模型的应用方向RAG和Agent, 微软分别推出了Semantic Kernel 和 Autogen 两个框架。本文是Semantic Kernel 的一些学习笔记,或许,Semantic Kernel 的成功应用应该算是微软的office copliot 全家桶了。什么是Semantic Kernel?Semantic Kernel是...

2023-11-19 20:23:39 462

原创 从隐私悖论到隐私工程

【引子】隐私和安全是计算机领域永恒的主题之一。大模型本身是一种先进的生产力,它在很大程度上能够推进技术的进步和应用范围的拓展。然而,与此同时,大模型的应用也可能带来隐私和安全的挑战。例如,联邦学习与大模型的结合目前还面临着许多挑战,包括安全威胁及防御、隐私威胁与增强、效率问题以及处理非独立同分布(Non-IID)数据等问题。这些问题可能会对用户的隐私造成潜在的威胁。重要的一点是如何利用大模型来“对...

2023-11-12 20:23:22 195

原创 大模型应用于数字人

大模型会改变整个软件行业, 其中具有代表性的产品之一是数字人, 那么,什么是数字人呢?数字人涉及了哪些关键技术呢?大模型对数字人的发展带来哪些影响呢?1. 什么数字人?数字人目前还缺乏一个相对统一的定义, 有人把人类的数字孪生体定义为数字人,有人把虚拟世界中具有人类行为的实体定义为数字人,有人将3D人体模型称为数字人,例如,韩国学界对数字人的定义是:用数字化技术,打造具有逼真人类长相、语言、动作姿...

2023-11-05 20:23:33 274

原创 Agent 应用于提示工程

如果Agent模仿了人类在现实世界中的操作方式,那么,能否应用于提示工程即Prompt Engingeering 呢?从LLM到Prompt Engineering大型语言模型(LLM)是一种基于Transformer的模型,已经在一个巨大的语料库或文本数据集上进行了训练,包括了互联网上的大多数网页。在训练期间,需要花费大量的时间(和/或图形处理器)、能量和水(用于冷却) ,梯度下降法被用来优化模...

2023-10-29 20:23:05 486

原创 《语音优先》智能语音技术驱动的交互界面设计与语音机器人设计(译者序)...

“言为心声,语为心境”,语言与对话是我们沟通与协作的重要方式。而智能语音技术是一种基于人工智能和自然语言处理技术的语音交互技术。它可以通过语音识别技术将用户的语音指令转换为文本,然后通过自然语言处理技术对文本进行分析和理解,最终生成相应的响应或执行相应的操作。虽然智能语音技术由来已久,但直到亚马逊Echo智能音箱的诞生才再一次引发了业界对智能语音技术的广泛关注,因为这样的智能音箱带给了人们一种叫作...

2023-10-22 20:23:09 770

原创 《语音优先》智能语音技术驱动的交互界面设计与语音机器人设计(译者序)...

“言为心声,语为心境”,语言与对话是我们沟通与协作的重要方式。而智能语音技术是一种基于人工智能和自然语言处理技术的语音交互技术。它可以通过语音识别技术将用户的语音指令转换为文本,然后通过自然语言处理技术对文本进行分析和理解,最终生成相应的响应或执行相应的操作。虽然智能语音技术由来已久,但直到亚马逊Echo智能音箱的诞生才再一次引发了业界对智能语音技术的广泛关注,因为这样的智能音箱带给了人们一种叫作...

2023-10-22 20:23:09 137

原创 《语音优先》智能语音技术驱动的交互界面设计与语音机器人设计(译者序)...

“言为心声,语为心境”,语言与对话是我们沟通与协作的重要方式。而智能语音技术是一种基于人工智能和自然语言处理技术的语音交互技术。它可以通过语音识别技术将用户的语音指令转换为文本,然后通过自然语言处理技术对文本进行分析和理解,最终生成相应的响应或执行相应的操作。虽然智能语音技术由来已久,但直到亚马逊Echo智能音箱的诞生才再一次引发了业界对智能语音技术的广泛关注,因为这样的智能音箱带给了人们一种叫作...

2023-10-22 20:23:09 107

原创 《语音优先》智能语音技术驱动的交互界面设计与语音机器人设计(译者序)...

“言为心声,语为心境”,语言与对话是我们沟通与协作的重要方式。而智能语音技术是一种基于人工智能和自然语言处理技术的语音交互技术。它可以通过语音识别技术将用户的语音指令转换为文本,然后通过自然语言处理技术对文本进行分析和理解,最终生成相应的响应或执行相应的操作。虽然智能语音技术由来已久,但直到亚马逊Echo智能音箱的诞生才再一次引发了业界对智能语音技术的广泛关注,因为这样的智能音箱带给了人们一种叫作...

2023-10-22 20:23:09 107

萃智(TRIZ)文摘

来自中国萃智网,对TRIZ的基本介绍,扫盲没有问题

2009-09-10

计算机世界1000期特稿——信息革命的流金岁月

历史也是一种解释。 时间可能是宇宙中惟一一个义无反顾的前行者,它只有一个向前的方向,因此,时间也就成了这个宇宙中最冷酷的标尺。人是最复杂的动物,有着最丰富的情感,有时坚强,有时懦弱,有时勇往直前,有时瞻前顾后。所以,人就成了时间最驯服的奴隶。时间的冷酷加上人类的情感决定了人总会追溯过去,而且会用无数的“假设”和“如果”去玩味过去的记忆。媒体是天生的“记录者”,因此就更乐于帮助人们唤起对往事的回忆,而且还会有意识地把对过去的理解延伸到对未来的判断,虽然这些判断在未来大多会沦为笑谈。

2008-11-24

Internet Email协议开发指南

POP3,IMAP4,STMP等等协议的程序开发实现

2008-10-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除