- 博客(34)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 LLM应用开发与落地：chroma的近似搜索问题
选择向量数据库还是要看下索引实现方式，是否支持量化索引，近邻搜索准确率和响应速度，最好是支持参数调整的，可以在不同场景设置不同参数。
2024-02-19 21:01:40
761
原创 LLM应用开发与落地：流式响应
我们在微信需要发送比较长一段文字的时候，我们需要花比较长的时间去写，跟你聊天的人那边的感触就是要有一段时间的等待。最近感悟就是，简单的RAG也好，让人惊喜的AGI也好，都非常容易实现，但是真正要落地到企业中，非常多的坑和需要探索解决的东西，无论是准确率、响应速度、成本，以及使用人的接受度等等。，应用服务器跟LLM服务器间的数据通道需要支持流式响应，一般http接口的封装都有这个参数，比如python request包的post方法的stream参数。看的的效果就是“你输入：”后边的字一个一个显示出来。
2024-02-09 22:56:00
1319
原创 LLM应用开发与落地：使用gradio十分钟搭建聊天UI
即使你是做前端开发的，你也可以尝试一下Gradio，哪天有人给你提了一个调试界面的需求，原本要半天的工作现在只需要十分钟了，多余的时机用来学习或享受生活，多美（或者，你让后端自己用Gradio搞一个，嘿嘿）。是的，它可不是只适用于LLM的，其他方面感兴趣的大家可以进一步去研究，我这里只聊创建用于测试和验证 LLM 应用的聊天界面。加入以上代码后，你跟之前一样启动你的fastapi后端，然后访问 http://you.domain.name/gradio_chat ，你就可以看到一个聊天机器人界面。
2024-02-03 09:37:53
3523
1
原创 LLM应用开发与落地：基于上下文的文本信息检测与提取
优化过程中用了很多技巧：用词准确性优化，特殊关键词语（比如：让我们一步一步思考等等），符号分割，关键字突出，输出格式优化，结构化prompt，COT，few shot，问题拆解等等。这句话中既没有用户的当前位置信息，也没有当前的年龄信息，但是如果你用关键字“我在”和“岁”去匹配，可能会匹配出位置“深圳”和年龄“24”，但这并不是用户当前的位置和年龄信息，属于误判。但是，接进来容易，实测起来发现问题不少：LLM幻觉导致的误判，prompt过长导致的成本，以及用户输入的敏感字符导致触发LLM的安全规则等等。
2024-01-27 10:10:27
1139
转载 LLM应用开发与落地：《哄哄模拟器》爆火后我的一些思考
LLM的应用必然越来越普及，这是一个全新的赛道和机会。随着LLM的进一步发展，LLM的能够落地的应用场景必定也会越来越多。
2024-01-25 19:38:47
349
原创 《天道》解读三：什么是天道？
上回说到，丁元英从海外回来后跟韩楚风喝酒，说了以下一段话。丁元英：中国的传统文化是皇恩浩荡的文化，它的实用是以皇天在上为先决条件。中国为什么这么穷？穷就穷在幼稚的思维，穷在期望救主、期望救恩的文化上，这是一个渗透到民族骨子里的价值判断体系，太可怕了。什么是“期望救主、期望救恩的文化”呢？丁元英在五台山论道的时候说了出来。丁元英：晚辈以为，传统观念的死结就在一个‘靠字’上，在家靠父母，出门靠朋友，靠上帝，靠菩萨、靠皇恩。。。总之靠什么都行，就是别靠自己。这是一个沉积了几千年的文化属性问...
2022-04-23 15:19:46
647
原创 活水决策体系九：辩证思维之五大范畴
现象和本质现象和本质是揭示客观事物的外在联系和内在联系相互关系的一对范畴。本质是事物的根本性质或组成事物基本要素的内在联系，现象是事物的外部联系和表面特征。现象和本质是一对辩证统一： 现象和本质是对立的：现象是表面的、具体的、和易逝多变的，往往靠感官即能感知；本质则是隐藏在事物的内部的、是事物一般的共同的方面、而且是相对稳定的，它往往只能依靠抽象思维来把握。例如，谁都可能看到苹果从树上掉下来，但要揭示这个现象的本质万有引力定律则需要理性分析和思考。 现象和本质是统一的：现象离不
2021-04-15 00:12:00
494
原创 活水决策体系八：辩证思维之四大方法
一：归纳与演绎归纳和演绎是最初也是最基本的思维方法。归纳是从个别上升到一般的方法，即从个别事实中概括出一般的原理。演绎是从一般到个别的方法，即从一般原理推论出个别结论。归纳和演绎的客观基础是事物本身固有的个性和共性、特殊和普遍的关系。归纳和演绎是方向相反的两种思维方法，但两者又是互相依赖、互相渗透、互相促进的。归纳是演绎的基础，作为演绎出发点的一般原理往往是归纳得来的；演绎是归纳的前提，它为归纳提供理论指导和论证。在实际的思维过程中，归纳和演绎是相互推移、交替使用的。归纳和演绎都具有局限性，单纯的归纳
2021-03-30 22:55:51
391
原创 活水决策体系七：辩证思维之三大规律
如果用一句话来总结辩证思维，我会用这句话：以动态发展的眼光多视角地认识事物的多面性的思维方式。辩证思维通常被认为是以逻辑思维相对立的一种思维方式。在逻辑思维中，事物一般是“非此则彼，非真即假”，而在辩证思维中，事物可以在同一时间里“亦此亦彼，亦真亦假”而无碍思维活动的进行。辩证思维是唯物辩证法在思维中的运用，唯物辩证法的范畴，观点，规律完全适用于辩证思维。辩证思维是唯物辩证法在思维中的反映。唯物辩证法有三大规律，四大方法，五大范畴。辩证思维的三大规律：对立统一规律，质量互变规律，否定之否定规律。.
2021-03-08 11:01:49
2592
原创 活水决策体系六：思考概述
人与动物的最大区别就在于思考，但是思考并不是一件容易的事情，现实中绝大多数人并不擅长于思考。思考需要管理好思维，而思维又是虚无缥缈的东西，如何管理是个大问题。管理思维这件事情甚至可以成为一门学科，比如《六顶思考帽》介绍的就是一种管理思维的方法，一种让你更容易做到全面思考的模型。活水决策体系中的思考模式也是一种管理思维的方法，它主要由五大类思考模式组成：辩证思维，逆向思维，单点突破思维，见路不走思维及多学科思维。一：辩证思维辩证思维主要包括归纳与演绎，分析与综合两大类方法。归纳法是一种从个别到.
2021-03-05 20:42:35
235
原创 活水决策体系五：自我觉察与控制
“不识庐山真面目，只缘身在此山中。” --苏轼我们的眼睛是用来看外边的画面，耳朵是用来听外边的声音，嘴巴是用来尝外边的酸甜苦辣，鼻子是用闻外边的气味，却没有一个专门的器官专门用来观照我们自己，导致我们常常不了解自己，不清楚自己。比如当前的你在看这篇文章的时候，你的身体感觉如何，情绪感受如何，身体姿势是怎样的？你当前的认知想法呢？大部分人是没有观照自己的能力和经验的。当我们在进行活水决策体系中的思考和甄别两个动作的时候，我们要特别注意自我觉察与控制（其实在所有关键时候都要做好自我觉察...
2021-03-03 15:40:01
266
1
原创 活水决策体系四：甄别
无论是数据还是规则，都是收集而来，要慎重甄别后才能作为信息输入。一旦错误的信息输入，不仅会对思考造成极大困扰，甚至可能导致决策严重偏离正确方向。那如何甄别数据和规则呢？一切不可轻信除了是经过研究和证明的数据和规则，其它我都是抱着怀疑态度的。在很多问题的定位上我对不可轻信特别有感触。一般已经经过不少人花了不少时间定位的问题，但依然没有解决的，最后到我这，我第一反应都是质疑他们给我的数据和规则。这个一切不可轻信的习惯是解决问题的好习惯，但真的不是与人相处的好习惯，每次我质疑他们给我的数据和规则的.
2021-02-27 15:49:05
218
原创 活水决策体系三：数据
数据是指待解决问题的相关数据，包括但不限于这个问题本身的数据及外部数据（行业数据，基础概率等等属于外部数据）。数据无处不在，我们从早上一睁开眼就开始接收各种各样的数据。无论是我们自己感受到的，听到的，看到的等等都是数据。本身数据当我们面对一个问题的时候，这个问题本身肯定有一些数据。如果没有，那就要想办法收集。没有问题本身的数据，很多事情没法往下走。比如说我们需要定位和解决一个数据丢失的问题。这个问题本身的数据有哪些呢？数据丢失是不是必现？如果是必现的，那重现需要哪些条件。如果不是必现的，那每次出现
2021-02-25 00:02:34
169
原创 活水决策体系二：规则
规则是指这个世界存在的客观逻辑，这些客观的逻辑不以人的意志为转移，它包括但不限于客观规律，人的本性及事物的具体特性等等。客观规律这个世界上有很多客观规律，不管我们知不知道它们，认不认可它们，喜欢还是讨论它们，它们都这样存在着，运行着，不受我们都影响。比如说生老病死，无论我们多怕它们，我们也不能躲过它们，它们就这么客观地存在着，影响着我们。经济学的需求定律，物理学的万有引力定律，热力学的熵增定律等等各学科的各种各样的定律，它们也就这么运行着，不以人的意志为转移。面对这些客观存在的规律，我们唯一有..
2021-02-23 23:01:54
196
原创 活水决策体系一：概述
缘起人这一辈子，只要你活着就遇到各种各样的新问题，但是你又必须解决，怎么办？我每次遇到这种情况的时候就压力山大，开始焦虑，痛苦。我就想，虽然不是我熟悉的领域，但能不能有一套方法论，当我遇到不是我熟悉领域的问题的时候，我可以用这套方法论去解决。另外我希望这套方法论可以把我过去学习到的知识，认知，思考方法等等结构化起来，让我需要的时候可以快速地回忆起来。带着这个想法我开始慢慢梳理，总结，然后又不断地完善，慢慢就形成了活水决策体系。活水决策体系的核心理论基础是信息论。信息论告诉我们消除未来的不确定性的唯..
2021-02-22 23:15:15
465
原创 做决策的核心是什么？
所谓决策，就是做选择。无论是我们的工作还是生活，都受到我们做出的决策影响。很多影响当时看起来微不足道，但谁又知道多少年后是否如“蝴蝶效应”一样，影响巨大呢？“选择比努力重要”这句话就是在说明决策的重要性。那大家平时都是如何做决策呢？做决策时都会考虑什么呢？我觉得做决策的核心是：投入产出比。为什么？只要我们是生活在地球上的人，我们必然都受到东西不够，生命有限的约束。为什么会东西不够？因为人性贪婪。当然，人性贪婪是假设，无法证明。之前聊过提高认知的三大要素之一就是假设：“没有正确的假设，就没有正确的方向
2021-01-03 16:07:34
3640
原创 怎样提高成事的概率？两点助你提高
成事是个小概率事件，不成事才是大概率。我们做的所有努力都只是在提高概率。那怎样提高概率呢？总的来说，一个人能不能成事主要看两个因素：意愿和能力。怎样才算有意愿？意愿就是想不想做事。想呀！大部分人会回答的很简单直接，因为我们每天都在做事，无论我们是否真正想做，我们都需要找到理由（借口？）来欺骗我们的大脑。如果我们每天做的是我们自己不认可的，我们将会非常痛苦。想做事不是靠说，而是要靠做来体现的。想做事主要体现在两个行为上：一是敢于担当，二是敢于挑战。什么叫敢于担当？就是做事过程中敢于突破常规，敢于决..
2020-12-15 23:27:18
1213
原创 做事总找不到方法？送你一套剑宗绝技
话说最近秋高气爽，适宜登高望远，特寻一高山登之。行到半山处，一脚踏空，跌入深谷。。。等我醒来，见一白发高人，脸色红润，精神饱满，端坐于石凳上。未待我开口，高人说道：你我有缘，送你一套连环三仙剑，然后便将剑法传授于我，正当我准备答谢高人之时，突然背后一脚踢来，旁边响起熟悉声音：又在做什么梦！嗯，以上纯属瞎编，如有雷同，一定是假的，哈哈。故事是编的，连环三仙剑是真有用的。连环三仙剑乃华山派剑法之一，亦是剑宗绝技之一，我偶然得授，不敢私藏，特送给有缘人（笑）。连环三仙剑仅有三式，使用时...
2020-12-10 22:28:22
538
原创 迷迷糊糊过了几十年，到底哪里没有做好？
回忆过去，你清楚自己是怎样的人吗？未来呢？这个想法我也不知道什么时候突然就有了，不知道是受到儒家的“格物，致知，诚意，正心，修身”启发，还是平时频繁遇到让我纠结的事情，次数多了就想着能不能一次性想清楚。不记得什么时候开始，我突然开始思考这个问题：我想成为怎样的人？是呀！我们每天都忙这忙那，忙着打造一款牛逼的产品，忙着打造一个战斗力强的团队，忙着打造一个伟大的企业等等。但是我们形影不离的自己，有多少人想过要打造成什么样？打造产品我们会想产品终态，打造团队我们会谈团队想象，打造...
2020-12-09 22:36:00
272
3
原创 到底怎样才能提高认知？三大要素助你进阶
有句话说：每个人都只能赚自己认知范围内的钱。我不完全认同，因为假设不清晰（基于每个人都是理性人假设吗？如果有不理性的人“强制要求”别人赚钱呢？），局限条件没有说明（赚钱的方式有没有要求？），标准也不清晰（赚钱的标准是什么？收祖上留下的房产租金算不算赚钱？）。但是我觉得，提高认知应该是可以帮助大家自力更生地赚取更多合法的钱（笑）。之前聊过认知的四个层次，这次来聊聊可以助我们进阶认知的三大要素。我们谈论的所有事物，基本都有三个要素：假设，局限条件和标准。但是我们在大部分时候都忽略了这三个要素，这...
2020-12-08 22:44:54
3403
1
原创 踩坑记录：c++文件流的openmode（app与trunc）
最近踩的一个坑，填这个坑大概花了我1个小时，记录下来希望可以帮助大家避免跟我一样（捂脸）。事情是这样，我最近需要一个c++的简单的记log到文件的功能，就是一个比较临时的功能，我第一反应就是用c++文件流标准库简单实现。很自然我就凭着记忆写下了下边的代码（因为算是临时的一个功能，错误判断也就没有加了，一切简单粗暴，切勿模仿）：std::ofstream simpleLog;simpleLog.open(logFile, std::ios::app | std::ios::trunc);.
2020-12-07 22:20:36
4316
7
原创 NP系列问题详解
时间复杂度什么是NP问题？这个是我之前比较纠结的一个问题，一直没有搞清楚它的来龙去脉。直到看了《数学之美》附录中的介绍才清楚。要清楚地了解这个问题，得从怎么衡量计算量这个问题开始。现在基本每个学习计算机相关学科的同学都知道，衡量一个算法的计算量是用时间复杂度。现在看起来理所当然的事情，在计算机科学发展初期却是个大问题，因为没有衡量算法的标准，不同算法无法比较优劣。自从有了时间复杂度后，算法优劣可以很方便地衡量，也就鼓励学者们找出更多更好的算法，好的算法也可以得到最有效的利用。提出时间复杂度的学者也..
2020-12-06 23:57:28
7340
原创 论计算机基础学科的重要性
【图：欧几里得，希腊化时代的数学家，被称为“几何学之父”。】作为一名软件工程师，计算机基础学科到底要不要学？最近蛮有感触的一个问题。我这里说的计算机基础学科主要指的是计算机操作系统（进程管理，内存管理，文件系统），TCP/IP协议，编译原理，计算机组成原理，计算机体系结构，数据结构与算法，设计模式等等。我经常在公司跟新同学说基础学科的重要性，但能理解的很少，很多同学更乐意去学一门新语言，去学一个工具和装下docker玩玩。我个人认为，新技术，新语言和应用相关的东西要学，基础学...
2020-12-04 22:54:20
6342
原创 信息怎样衡量多少？
疑问我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。你跟你暗恋许久的女生表白，焦急地等待她的回复，那她这让你牵肠挂肚的回复里边包含的信息量有多少呢？一本50多万字的《史记》又包含了多少信息量？介绍关于信息怎么衡量这个问题几千年来都没有人给出答案，直到1948年，香农(Claude Shannon)在他著名的论文“通信的数学原理”(A Mathematic Theory of Communication)中提出了“信息熵”的概念后才解决了信息的度量问题。一条信息的信息量...
2020-12-02 23:00:58
2965
原创 你有读书之病吗？
最近公司搞读书活动，跟同事聊起读书，我简单地介绍了下我是怎么读书的。前两个星期一个面试者在最后也问到读书问题。他说一本网上大家都说好的技术书他看了两遍还是看不懂，怎么办？我感觉他是读这本书都读到要怀疑自己了（捂脸）。为什么这么说？因为网上都说好，我却看不懂，是不是我特别差？然后我又介绍了一遍我的读书观。短短两星期，同样的话说了两次，那就干脆记下来吧，下次直接分享链接就好了。我是怎么读书的呢？总的来说就是四个读书观：一，学习型读二，开心地读三，重复地读四，读以致用。第一：..
2020-12-01 23:04:13
156
原创 认知的四个层次
你有没有经常这样回答别人：好的，我知道了。如果有的话，先提个小建议，下次回答别人的时候，把“我知道了“去掉吧。为什么？首先，“我知道了“会让对方觉得他很啰嗦，多此一举的感觉；第二就是下边准备说的，知道就够了吗？（“我知道了：也是我的口头禅，我希望我写完这篇文章后再也不说这四个字了，捂脸）我个人认为对某个事物的认知有四个层次，这四个层次分别是听过，知道，会操作，领悟。认知的第一层次：听过。这个比较容易理解，这个层次就是对事物基本没有概念，只是道听途说得来一些消息。但是，我们经常会发现..
2020-11-28 20:22:56
3923
1
原创 ABC技术能力模型
这篇文章是8年前写的了，现在看看还是有些启发，希望对大家有一些帮助。其实脑海中一直有个框架，关于技术能力模型的框架，今天把它好好理一理。我把这个技术能力模型命名为ABC技术能力模型A：attitude（态度）B：behaviour（能力）C：cognition（认知）技术根源和技术目的是神说：”要有技术“，于是就有了技术吗? 显然不是，看看互动百科对技术的定义：技术：技术就是通过改造环境以实现特定目标的特定方法。技术的目的性再看互动百科对技术目的性的解释技术之所以不同...
2020-11-25 23:03:14
1291
原创 作为一名软件工程师，计算机基础学科到底要不要学？
【图：欧几里得，希腊化时代的数学家，被称为“几何学之父”。】作为一名软件工程师，计算机基础学科到底要不要学？最近蛮有感触的一个问题。我这里说的计算机基础学科主要指的是计算机操作系统（进程管理，内存管理，文件系统），TCP/IP协议，编译原理，计算机组成原理，计算机体系结构，数据结构与算法，设计模式等等。我经常在公司跟新同学说基础学科的重要性，但能理解的很少，很多同学更乐意去学一门新语言，去学一个工具和装下docker玩玩。我个人认为，新技术，新语言和应用相关的东西要学，基础学科也同样要学，两者并..
2020-11-24 22:43:30
2100
2
原创 读《code complete》小记
1：代码编写前的所有准备的唯一目的就是为了降低项目风险。所以确保你做的准备都是在降低项目风险，而不是增加项目风险。我的理解：一个项目或一个版本的大体流程是：问题定义-->需求输出-->项目架构与设计-->代码编写-->自测-->测试-->发布。不管是传统开发和是敏捷开发，这个流程里的每一步都依赖于上一步，一步错，步步错。如果需要解决的问题都是错的，下边的每个步骤都是在浪费时间。所以越是前面的步骤越重要。2：如果你想开发高质量的软件，那么对质量的关注必须成为整.
2020-11-22 22:00:24
115
1
unix network programming stevens v1
2009-02-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人