- 博客(48)
- 收藏
- 关注
原创 利用Embedding优化搜索功能
学习如何用embedding优化搜索,即通过语义来搜索(在给定一段输入文本的情况下检索语义相似的文本),而非传统的基于关键词分词的搜索。
2024-01-03 16:06:36
1039
1
原创 免费使用谷歌Gemini模型学习LLM编程
目前Bard还没有全部切换为Gemini Pro模型,但是作为程序员,已经不需要等待可以直接调用Gemini Pro的接口了。谷歌这次开发者优先的做法值得点赞,Google AI Studio用起来也很方便。而且,对于国内的开发者来说,最重要的一点是使用Gemini Pro接口是完全免费的,不再需要费尽心思搞什么虚拟卡、礼品卡充值,你甚至可以在生产环境调用接口,只是谷歌可能会加上Rate限制。
2023-12-24 12:05:50
1185
原创 使用LangSmith来快速学习LangChain
用LangChain来完成大语言模型的应用原型/代理很简单,但是,要交付实际的大语言应用异常困难:可能要大量定制、迭代Prompt、链和其他组件。LangSmith可以帮你快速调试链、代理或者一组工具,可视化各种组件(链、llms、检索器retrievers等)如何交互及使用,评估不同的Prompts等等。
2023-12-09 11:07:41
2094
2
原创 倚天屠龙:Github Copilot vs Cursor
不管人工智能是否能取代开发人员,都建议你现在开始接触AI辅助编程工具。我推荐你从尝试GitHub Copilot和Cursor开始。
2023-12-04 17:28:19
2326
3
原创 不用多模态GPT4,HuggingFace+LangChain实现“看图说话”
要实现一个简单的“看图说话”,要如何做呢?可以分两步:1. 通过开源的模型,让开源模型识别图片的内容,生成一句话文本描述;2. 让大语言模型针对文本描述生成一个简短的小故事。
2023-11-17 11:30:16
622
1
原创 基于LangChain的LLM应用开发7——代理
我们今天会深入了解什么是代理,如何创建和使用代理,如何使用不同类型的LangChain内置工具:数学工具、维基百科工具、搜索引擎等,当内置的工具不能满足时,如何创建自己的工具,这样就可以让代理与任何数据存储、接口或者功能进行互动。
2023-11-09 10:39:46
137
1
原创 基于LangChain的LLM应用开发6——评估
在本篇中,我们会讨论如何评估基于LLM的应用程序,同时介绍一些帮助评估的工具,最后还介绍了开发中的评估平台。
2023-11-02 15:57:51
115
1
原创 基于LangChain的LLM应用开发5——基于文档的问答
兼听则明,偏信则暗。大语言模型里面的数据是相对“静止”的,如何让大语言模型跟最新的、完全没训练过的数据结合,装上梦想的翅膀,是基于大语言模型开发的常见问题。这其中,文档问答系统是一种常见的用LLM构建的复杂应用程序。给定一段来自PDF、网页或者企业内部文档库的文本,我们能否使用LLM来回答关于这些文档内容的问题,帮助用户深入了解并获取他们想要的信息?习惯了ChatGPT的人都很难抵挡开发这样一套系统的诱惑。
2023-10-30 15:35:20
202
1
原创 基于LangChain的LLM应用开发4——链
在LangChain中,chain(链)是最关键的构建模块,可以被视为 LangChain 中的一种基本功能单元。链将大语言模型与提示词结合在一起。通过链的机制,可以将链模块组合在一起,对文本和其他数据按顺序进行操作。
2023-10-25 20:55:18
166
1
原创 基于LangChain的LLM应用开发3——记忆
此情可待成追忆,只是当时已惘然。我们人类会有很多或美好或痛苦的回忆,有的回忆会渐渐模糊,有的回忆午夜梦醒,会浮上心头。然而现在的大语言模型都是没有记忆的,都是无状态的,大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”,天然就是“本来无一物”。每一次的请求交互、api调用都是独立的,完全没有关联。那些聊天机器人看起来有记忆,是因为借助代码的帮助,提供历史消息作为和LLM对话的上下文。嗯,就跟我们大脑不太够用了,要拿小本本或者打开Obsidian/Notion/语雀……来查找一样。
2023-10-22 16:52:32
293
1
原创 基于LangChain的LLM应用开发1——介绍
LangChain于2022年10月作为一个开源项目由Harrison Chase启动,当时他在机器学习初创公司Robust Intelligence工作。该项目很快人气飙升,Twitter上的讨论热度高涨,项目的Discord服务器活动频繁,YouTube涌现很多教程,还在旧金山和伦敦举办了很多聚会。通过对大语言模型使用提示(Prompt),现在开发AI应用的难度已经大大降低,开发的速度也更快。但是一个AI应用程序可能需要对一个大语言模型多次写Prompt,并且对大语言模型的输出进行解析。
2023-10-17 14:53:22
129
原创 java synchronized 同步机制解析
在Java 5以前,是用synchronized关键字来实现锁的功能。synchronized关键字可以作为方法的修饰符(同步方法),也可作用于函数内的语句(同步代码块)。掌握synchronized,关键是要掌握把那个东西作为锁。对于类的非静态方法(成员方法)而言,意味着要取得对象实例的锁;对于类的静态方法(类方法)而言,要取得类的Class对象的锁;对于同步代码块,要指定取得的...
2016-01-21 16:49:00
151
原创 阿里云Linux系统被攻击的处理过程
4-22日 19:48分,在等女儿跳舞下课的时候,在“多看”进入大刘等人的《毁灭之城:地球碎块》,读到了“诅咒 3.0”病毒出现的时候,阿里云发来短信“尊敬的用户,您的云服务器x.x.x.x存在对外DDOS攻击,请您务必尽快参考云账号邮箱中邮件进行处理,逾期将关停云服务器【阿里云】”。用“gmail”打开邮件,没有太多有用的内容:“经检测您的云服务器(x.x.x.x)存在恶意发包行为,需要您尽...
2015-04-23 13:00:12
580
eastwood中文显示乱码问题的解决办法
[url=http://www.jfree.org/eastwood/]eastwood[/url]是[url=http://code.google.com/intl/zh-CN/apis/chart/]google图表api[/url]的开源的独立的实现,基于jfreechart。eastwood使得调用jfreechart不用再深入到什么plot、Axis、Renderer的细节中去,用更简单...
2009-08-21 16:26:40
185
ubuntu 9.04无线网卡不能上网的暂时解决办法
ubuntu 9.04(代号Jaunty Jackalope)正式发布了,速度和易用性都大有提高,然而兼容性却有所下降。在我这里(ibm thinkpad t60),至少有三大问题没有解决。一是无线网卡上网问题,二是ati显卡驱动问题,三是新的通知机制问题。ati显卡到正式发布了受限驱动还是没有跟上,glxgears只有可怜的200FPS,不过我不用compiz 3D特效,这台机也主要用来...
2009-04-28 09:51:44
137
部署grails应用到paas提供商mor.ph
google application engine一支持java应用,马上就掀起了一股部署java应用到gae的热潮。然而,就目前而言,要部署grails到gae,还不是一件简单的事。或许以后可以简单的grails gae就部署上去,呵呵。[b]2009年4月28日更新:grails 1.1.1就支持直接部署到gae,只是不是grails gae,而是grails app-engine dep...
2009-04-25 15:58:11
121
Grails工作机会
最近在深圳 Linux Unix 用户组有人发了一封邮件,说有两个自称人很好的柏林小伙子(哈,德国人也这么可爱 :D ),手头上有很多前途光明的项目,现在缺乏人手来开工,想在国内找些grails开发者,建立中长期的合作关系。(传说中的外包?)有兴趣的grails开发者可以看一下啊,原文见[url]https://groups.google.com/group/szlug/browse_thread...
2009-04-25 08:27:50
121
原创 "冯大辉Twitter每日推荐一位推友计划"推友列表
更新记录:2009-5-18 增加戴志康([url]https://twitter.com/Crossday[/url])2009-5-19 增加冯亮([url]https://twitter.com/hutuworm[/url])2009-5-20 增加姚建东([url]https://twitter.com/esbzone[/url])2009-5-21 增加高春辉([url]...
2009-04-24 12:29:23
1027
原创 胖子不环保,胖子程序员一起来瘦身
javaeyers里面有多少胖子呢?可惜javaeye还不能自主发起调查(建议robbin给javaeye加上调查系统啊,这个应该可以玩出很多东西来),不然可以调查一下。不过估计胖子不会少,因为大多数程序员坐得太多,运动太少,就算不是胖子,也会有个胖嘟嘟的肚子给lp当枕头睡。javaeye有名的两大胖子一是robbin([url]http://robbin.iteye.com/[/url]),ja...
2009-04-23 13:10:02
252
在java应用中嵌入groovy
需求:某高校博士录取分数线录取算法是这样的:1、 硕博连读考生为外语45分以上(含45分,下同), 综合成绩(初试总分*0.7+复试分数*0.3)不低于60分;2、 普通考生(经济管理学院除外)为外语45分以上,专业课60分以上,综合成绩(初试总分/3*0.7+复试分数*0.3)不低于60分;3、 经济管理学院(001)考生外语55分以上,专业课60分以上,综合成...
2009-04-23 12:23:38
136
原创 设计可伸缩的Twitter(Designing a Scalable Twitter)中文摘要
《设计可伸缩的Twitter》原文见[url]http://natishalom.typepad.com/nati_shaloms_blog/2009/04/writing-your-own-scalable-twitter.html[/url]期待有人翻译为中文。下面是我的中文摘要。twitter的可伸缩性挑战1、消息风暴问题。tweets、re-tweets,海量的消息如何处理...
2009-04-21 18:29:17
115
原创 Linux使用技巧(更新至2009-4-19)
07年开始使用ubuntu,从7.04-9.04,从一开始的linux与windows并存,到只使用linux,期间磕磕碰碰(最开始的一个星期最难受),积累下这些技巧。这些技巧大多来自网上,这里共享出来,供转入linux的朋友参考。linux桌面这两年的发展很快,现在的linux桌面已经很好用了。曾经有位仁兄建议everybody should try ubuntu;我不建议everybody,但...
2009-04-19 21:08:10
236
以Excel作为模板产生Excel
jxls:[url]http://jxls.sourceforge.net/[/url],产生简单的excel报表还是挺好用到,感觉类似于jsp里面使用el和jstl,不再需要数格子、画格子。主要类库:commons-jexl.jar和jxls-core.jar。代码例子[code="java"] Map params=new HashMap(); ...
2009-04-17 20:52:19
166
Linux下使用电信e8套餐ADSL无线猫上网的办法
刚办了e8套餐,电信送的无线猫是中兴的,软件版本是ZXDSL 531BIIV2.2.1d_E17_gd,在网上搜索了n久,找不到开启路由的办法。没有办法,只好老老实实用着无线+拨号的方法。这种方法在我看来是很奇怪的,有一个集成了自动拨号的功能的设备还要用户自己手动拨号,用户体验太差,不知道国外有没有这种东东。其实要限制连接的客户机数也用不着这样限制吧。不知道以后搞无线城市了,电信还玩什么鸟。...
2007-12-30 14:04:43
203
下载、合并szdaily的PDF
在http://pdf.sznews.com/szdaily/pdf/index.htm 可以看到szdaily当天报纸的pdf(好像星期六、星期天没有?),但让人不爽的是16版报纸分成了16个pdf,阅读起来很麻烦。用了ubuntu之后,也用了好些脚本,就尝试着用bash写了下面的下载、合并szdaily pdf的脚本:#!/bin/bashechoecho "START"mkd...
2007-11-19 13:02:48
148
统计学上sd、cv的计算
sd Std Dev,Standard Deviation 标准偏差(Std Dev,Standard Deviation)一种量度数据分布的分散程度之标准,用以衡量数据值偏离算术平均值的程度。标准偏差越小,这些值偏离平均值就越少,反之亦然。标准偏差的大小可通过标准偏差与平均值的倍率关系来衡量。标准偏差公式:S = Sqr(∑(xn-x拨)^2 /(n-1))公式中∑代表总和,x拨...
2007-11-06 17:56:26
23742
失望,Linuxer编辑的认识高度
见http://www.blogbus.com/user/?mm=Article&aa=Add&blogid=18362摘:(Fireshort即偶的观点,Rainking是linuxer杂志编辑的观点)Fireshort:《Struts,一个开源的MVC实现》是一篇好文章,然而,却是too old了,记忆中很久很久以前已经看过了,一google,发现是ibm dw上文章:htt...
2007-05-29 02:53:47
119
一条线路引发的对深圳公交的思考
最近,从家里(盐田区政府)去公司(水库)上班,发现多了一条线路:53路,于是欣然从208转到53。53路的座位比208的舒服多了,然而几天下来,我却从53路深刻体会到了深圳公交存在的问题。问题一:想宰就宰53路原来是全程2元(普巴1.5元),值此众多深圳老百姓对公交票价过高意见纷纷之际,竟尔毫不犹豫的借了个因头(延长线路云云),暴涨至全程9元。自由的年代,想唱就唱;垄断的集团,想宰就宰啊。不知道物...
2007-04-30 08:03:29
148
用Java进行LDAP编程的方式
1、直接用JNDI的方式。 shark的LDAPUserGroupManager是采用这种方式。这种方式不需要采用其他的SDK,难度较大。 2、采用Netscape Directory SDK for Java。在sun的网站可以找到相应的开发文档:http://docs.sun.com/db/doc/816-6402-10。 3、采用jldap。jldap支持“LDIF ...
2007-01-23 10:02:03
194
CVS服务器设置指南
第二次配置CVS服务器体会: 1、要用清醒的头脑做事情,不然很容易犯低级错误。 2、Linux可能比Window更像woman:出错了,你不知道哪里错,我也不会告诉你。首先确保系统安装有cvs:[root@mail xinetd.d]# rpm -qa|grep cvscvs-1.11.1p1-3如果命令输出类似于上面的输出则说明系统已经安装有cvs,否则就需要从安装光盘中安装cvs的...
2007-01-17 09:32:01
124
Java中对有BOM头的UTF-8文件的处理
在用记事本之类的程序将文本文件保存为UTF-8格式时,记事本会在文件头前面加上几个不可见的字符(EF BB BF),就是所谓的BOM(Byte Order Mark)。JDK1.5之前的Reader都不能处理BOM,解析这种格式的xml文件时,会抛出异常:Content is not allowed in prolog. 据说JDK1.6已经解决了这个bug。(参考http://www.uuzon...
2006-10-19 04:28:01
204
工作流和MIS的关系
一些摘录: 流程控制和业务逻辑是不能完全分离的,只能实现松散耦合 各自为政的同时达到协同办公 这方面做得比较好的是BPEL,松耦合。 可定制可编排的服务。 工作流和MIS应该说是二种系统 现在有好多MIS是建立在工作流系统上的 工作流本身是一种支撑系统,得和别的管理系统结合才能用,本身单独用是没什么用处的 和别的管理系统结合也还是一个管理系统 工作流管理系统是包含工作流引擎和一些流程管理功能的系统...
2006-09-05 01:51:07
204
j2ee系统与rtx的整合实现
在rtx的论坛可以看到很多类似下面的论调: “您好,所有用我们的api开发的jsp或java程序都必须放在SDK的安装包的java目录下,与RTXSvrApi.java同一目录(注意不能单独 copy出RTXSvrApi.java文件)。”简直让人吐血不止啊,幸好实际情形不是这样(也不可能是这样,要这样tx的程序员都找块豆腐撞死算了,否则也会给其他的java开发者口水淹死:-))。实...
2006-07-27 06:05:26
183
备忘:jbpm3 生成oracle 的建表脚本过程
来自:(William(19694559) ),未测试过,不过应该可以,反正我自己生成mysql的建表脚本没有碰到什么困难。jbpm3 生成oracle 的建表脚本过程。1 下载jbpm-db 这个部件。我下载的是jbpm-starters-kit-3.1.zip ,里边就包含了jbpm-db部分。2 修改 xx\jbpm-starters-kit-3.1\jbpm-db 下的 b...
2006-07-06 06:00:00
109
eXtremeTable的“action”参数问题
在缺省情况下,如果url中有action参数,则在IE中eXtremeTable中将不能排序、过滤,而在FireFox中则一切正常。这个问题的产生原因是:eXtremeTable缺省情况下AutoIncludedParameters为true,则自动将url传进来的参数用hidden field的方式继续传来传去。这个本来也没有什么问题,但是form也有action属性,这两个就产生了冲突。IE与...
2006-03-18 02:37:50
97
commons-fileupload中文乱码问题的解决
在广州地铁管理后台中使用了commons-fileupload来上传文件,发现中文路径或文件名都会变成乱码。但是上传部分的代码是已经在我们的QuickOA里面应用了的,而在QuickOA里面完全没有乱码问题。搜索fileupload的代码,发现在 FileUploadBase类里面有setHeaderEncoding方法,根据其说明,当读取上传表单的各部分时会用到该encoding,如果没有指定e...
2005-12-20 12:07:41
307
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人