- 博客(125)
- 收藏
- 关注
RSS订阅原创 选择篇| 微调 VS RAG
不同于完全从头训练一个全新模型，Fine-Tuning （微调）巧妙地利用了 PLM 在大规模语料上学习到的通用语义表征，在此基础上进行"权重调校"，从而大幅提高了模型收敛的速度和效率, 微调本质是将特定领域知识记忆纳入到模型的参数中, 经过微调后，模型可以为你提供更准确、更接近你特定领域的答案。数据要求：有效的微调工作需要大量且精心策划的数据集，数据集是微调模型的必然要求, 收集自己领域的数据并非易事, 虽然现在也出现一些数据集是利用chatgpt方式生成, 但是总体要生成高质量数据集也非易事。
2024-06-27 13:27:13
828
1
原创 常识| 大模型收费计量单位之Token概念
对于普通用户很难理解Token这个概念， 这个概念是隐藏在模型内部的， 对于普通使用者来说，这种计价方式无疑是致命的， 所以对于大部分普通使用者，还是采用包月方式偏多， Token计价方式针对的是开发者，希望通过API方式进行调用，封装自己的应用。不懂这个概念，就贸然使用这种方式，有点“我为鱼肉，人为刀殂“的感觉。如腾讯1token≈1.8个汉字，通义千问、千帆大模型等1token=1个汉字，对于英文文本来说，1个token通常对应3至4个字母， 不同的模型对相同的输入分词， 分词结果是不一样的。
2024-06-27 13:20:09
1441
原创 知识篇| 全面认识Git lfs
基于以上2点问题, Git工具显得捉襟见肘, 在一些游戏开发工程师、设计工程师和文档管理者中很难满足他们, 一方面，他们希望继续使用Git的版本控制和工作流能力，在另一方面Git仓库中大文件及其历史不断增多，导致工作效率越来越差。普通的git场景, 不论是针对小的代码文本文件、还是大的文件,如图片、视频，在相关变更从本地提交到远端仓库时，所有的相关文件资源都会完整的存储在git server。(2)空间变大：一个Git仓库存放的大型的文件越多，Git仓库会以非常快的速率膨胀，占用更多的磁盘空间。
2024-06-21 10:18:38
657
原创 应用篇| 深入浅出LLM应用之RAG
一个RAG 三元组评估模式 — 分别是对问题的检索内容相关性、答案的基于性（即大语言模型的答案在多大程度上得到了提供的上下文的支持）和答案对问题的相关性。RAG基本思路是将背景知识文档预先向量化,存储至向量数据库中,当用户进行提问时,将用户的提问同样向量化后, 通过向量检索算法(比如向量乘积)之后, 得到top-K的文档, 将获取的top-k文档和用户提问都作为大模型输入, 大模型根据输入最终生成回答.这样 RAG 更加适应事实会随时间变化的情况，因为 LLM 的参数化知识是静态的。这种方式会更加灵活。
2024-06-21 10:17:10
1113
原创 web网络安全知多少
Xss 攻击成功之后,对用户当前浏览的页面植入恶意脚本,控制用户的浏览器,称为Xss payload,常见的Xss payload,是Cookie劫持,可以通过设置“Httponly”标识并防止Cookie劫持,Cross Site script: Xss攻击是通过HTML网页篡改网页,插入恶意的脚本,从而在用护浏览网页,控制用户浏览器的一种攻击,Xss长期被列为Web客户端的头号大敌.○ 浏览器会根据返回的内容自行推断文件的类型，从而以相应的类型执行文件，如 .js 文件就发起执行 js 脚本。
2024-05-27 16:54:16
1022
原创 实用篇| huggingface网络不通
另外一种方式, 使用魔塔, ModelScope魔搭社区-ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单。hf-mirror.com是Huggingface的镜像网站，它提供了一个备用的域名来访问Huggingface的资源和功能。它的作用类似于一个代理服务器，可以帮助我们绕过无法访问huggingface.co的限制，正常地获取所需的模型和数据集。上面的方式是代码集成的方式,还有就是可以手动下载模型。
2024-05-27 16:51:50
721
原创 内网穿透工具
sSocks 是一个 socks 代理工具套装，可用来开启 socks 代理服务，支持 socks5 验证，支持 IPV6 和 UDP，并提供反向 socks 代理服务，即将远程计算机作为 socks 代理服务端，反弹回本地，极大方便内网的渗透测试。frp 是一个高性能的反向代理应用，可以帮助您轻松地进行内网穿透，对外网提供服务，支持 tcp, http, https 等协议类型，并且 web 服务支持根据域名进行路由转发。（3）多级级联，适用于多层级的复杂网络环境，将内网深层的服务转发到外网。
2024-05-21 18:48:53
465
原创 研究篇| 一款深入浅出的微调框架
中介绍了模型训练需要大量的计算资源,一般情况下,个人和企业是无法承担的成本,所以微调的方案就出来, 关于微调的方式也很多,大部分微调方式都是固定模型参数(freeze model), 可以降低计算梯度等内存空间, 从而实现小参数撬动大模型, 关于更多的微调方法可以查看《LoRA在需要微调的层上引入了一对小的可训练矩阵，称为低秩矩阵。训练器: 主要支持lora方式微调, 支持 (增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练和 ORPO 训练方法。
2024-05-21 18:43:00
1377
原创 【小白入门篇6】常识|怎么计算模型需要的资源
各个公司相继推出大模型, 有开源和不开源,有些技术爱好者也开始心痒难耐，萌生了私有本地模型,甚至有伙伴构建大模型并进行训练的想法, 大模型不仅比拼技术, 也是比拼爹(资源)的存在, 我个人在实战经历经常问自己,到底需要什么样配置才能跑起来这个模型, 完成这个实验目标, 由此引发对估算大模型需要的GPU显存的进一步了解.:对于每一层，都会有一些中间的激活值。: 一般优化器需要保存一些参数状态,以便更新调整,不同的优化器占用的显存大小是不一样的,比如SGD和参数数量是一样的, 而AdamW是参数的2倍。
2024-05-13 12:37:59
1037
原创 【大模型应用篇7】新一代程序员需要掌握的智能体脚手架是？
在“996”内卷中脱颖而出。》介绍coze平台的大部分组件,dify基本都有,比如工作流、知识库等,不过我觉得比coze平台更具优势的是,用户可以选择更多模型, 不像coze平台仅仅支持云雀和moonshot, 这个给了很多开发者更多的转型dify的冲动, 包括未来可以引入自己公司针对某个领域微调的LLM。现在智能体处于初级阶段，大家可以探索更多应用场景，大家可以关注我的公众号，就可以与他进行对话，起码现在24小时智能客服没啥问题，我也对比了之前方式客服，从使用体验来说，知识库问答和闲聊功能实用性更强。
2024-05-06 12:58:38
1211
2
原创 Java常见的数据结构
LinkedHashSet 底层使用 LinkedHashMap 来保存所有元素，它继承与 HashSet，其所有的方法操作上又与 HashSet 相同，因此 LinkedHashSet 的实现上非常简单，只提供了四个构造方法，并通过传递一个标识参数，调用父类的构造器，底层构造一个 LinkedHashMap 来实现，在相关操作上与父类 HashSet 的操作相同，直接调用父类 HashSet 的方法即可。HashMap 非线程安全，即任一时刻可以有多个线程同时写 HashMap，可能会导致数据的不一致。
2024-04-29 19:17:09
563
原创 【大模型应用篇6】私有化智能体平台,为了数据更安全........
上述介绍了这么多平台,关于平台选型问题, 主要还是看大家实际的诉求, 比如你们希望在公司打造一个类似coze的平台, 让业务人员也能构建智能体, 那就选择dify,他有很好的用户交互的界面，方便普通用户使用, 如果只是构建一个强大、定制的智能体,那就考虑langchain+langflow, 这些仅仅是我个人的观点,如有更好的建议,欢迎评论区留言交流。: 大模型推理依赖GPU资源, 特别是面对用户量庞大的系统, 推理所需的GPU资源,这可能影响其行动的效率，因其高度依赖于 LLM 的推理速度。
2024-04-29 10:49:25
1129
原创 【大模型应用篇5】应对裁员潮,突发奇想,打造“收割offer”智能体.......
之前文章介绍了普通人打造智能体的工具, 这节课就带大家利用字节产品coze构建“程序员智能体”, 方便应对裁员,随时做好找工作的准备.打造一款面试智能体,方便各位程序员面试, 这个智能体当然不仅仅适用社招人员, 应届毕业生找工作也可以用它进行刷题,提升面试技能, 同时, 也可以作为面试官随时出考题的助手, 无需提前准备面试题.一般用于相对确定的流程类操作, 如果需要构建复杂的智能体,可以考虑引入工作流, 特别是一些流程类的智能体,比如针对办公场景,请休假, 财务报销。
2024-04-27 16:30:27
796
原创 深入jvm
即我们常说的永久代(Permanent Generation), 用于存储被 JVM 加载的类信息、常量、静 态变量、即时编译器编译后的代码等数据. HotSpot VM 把 GC 分代收集扩展至方法区, 即使用 Java 堆的永久代来实现方法区, 这样 HotSpot 的垃圾收集器就可以像管理 Java 堆一样管理这部分内存, 而不必为方法区开发专门的内存管理器(永久带的内存回收的主要目标是针对常量池的回收和类型 的卸载, 因此收益一般很小)。在 Java 中，引用和对象是有关联的。
2024-04-21 16:26:00
717
原创 【小白入门篇5】哪些免费GPU羊毛可以薅?
巧妇难为无米之炊, 虽然现在大模型开源很火热, 但是缺少gpu计算资源的小伙伴, 还是无法实操这些开源模型,对大模型研究浅尝辄止,或者只能用第三方开放的平台的普通对话框, 今天就介绍一些免费GPU资源, 足够大家平时对一些开源模型的学习和部署。支持控制台和jupyter notebook, 三个月的试用期,免费版本显存一般是16G左右,无对话时间限制, 建议不用的时候,关掉实例,毕竟除了时间还有资源大小限制。各位读者,如果你有更好免费平台, 可以在留言中评论,为一穷二白的技术人送点福利.
2024-04-21 16:14:39
804
原创 【大模型开源篇1】彦宏您怎么看LLaMA3的开源
Meta LLaMA是Meta公司开源的大模型，作为大模型开源界得鼻祖， 刚刚发布LLaMA3。从ChatGPT 拉开了大模型竞赛的序幕，Meta 选择了开源，至此大模型也开始百花齐放的时期，但是开源模型一直无法超过必源模型，如今LLaMA3发布，大有后来居上的趋势。此外,Meta还支持丰富的应用生态, Meta 提供的生成式 AI 能力在免费产品中性能是最强大的。
2024-04-20 08:59:36
885
原创 Java GC了解
jvm提供其他命令作用jps： 虚拟机进程状况工具，类似linux的ps命令jstat：虚拟机统计信息监视工具，经常看gc情况的会使用到jinfo: java配置信息工具jmap： java内存映射工具，dump，查看堆情况一般会用到jhat: 虚拟机堆转储快照分析工具，分析dump文件jstack： Java堆栈跟踪工具，查看线程的堆栈情况整个jstack文件分析。
2024-04-10 16:21:05
565
1
原创 【大模型应用篇4】普通人构建智能体的工具
用户与智能体聊了什么?哪些智能体最受大家喜爱?OpenAI的GPTs大火之后,随后很多公司都推出类似智能体构建平台, 这类平台基本都依赖大语言模型+插件，或者挂载知识库，或者调用复杂工作流，很多都成为了我日常使用的工具。dify也是基于插件方式,但是相对coze插件,以及支持发布的平台会少很多,但是好在开源,这个未来有可能会迎头赶上coze, 平台免费有次数限制.coze.cn是国内版本,可以发布在国内的应用上比如微信、飞书等平台, 国人可以快速使用你的智能体,使用大模型几座是云雀模型,是字节自研。
2024-04-10 14:57:10
916
原创 从事Java开发不得不知道的事
堆------->新生代(Yong)----->eden、 from to（救助空间Survivor）------->旧生代(Old)------->方法区（持久代 并不完全等价）------->栈------->程序计数器------->本地方法栈。
2024-04-09 12:38:44
278
原创 【大模型应用篇3】LLM时代下的智能体
(大语言模型, Large Language Model), Agent概念最早起源于M.Minsky(AI之父之一） 于1986年出版的《Society of Mind》（也是神经网络热潮开始的年份）, 只是LLM出现, LLM的涌现能力让人们快速嗅到可以基于LLM打造智能体, 近期 Web GPT、Chatdev、Toolformer、Devin、MetaGPT等AI Agents产品也是层出不穷。通过给予基于大语言模型（LLM）的智能体以“资产、偏好及个性”，模拟人类在经济行为场景中的决策过程。
2024-04-08 13:22:40
1343
原创 DDD实践思考
领域驱动设计强调技术专家和业务专家，通过统一的语言来完成领域的建模，帮助技术侧和业务侧形 成一套统一的语言.DDD就是以领域为入口，来解决产品设计，研发的思想。
2024-04-08 09:30:13
361
原创 java锁
乐观锁是一种乐观思想，即认为读多写少，遇到并发写的可能性低，每次去拿数据的时候都认为别人不会修改，所以不会上锁，但是在更新的时候会判断一下在此期间别人有没有去更新这个数据，采取在写时先读出当前版本号，然后加锁操作(比较跟上一次的版本号，如果一样则更新)，如果失败则要重复读-比较-写的操作。java 中的乐观锁基本都是通过 CAS 操作实现的，CAS 是一种更新的原子操作，比较当前值跟传入值是否一样，一样则更新，否则失败。悲观锁是就是悲观思想，即认为写多，遇到并发写的可能性高，每次去拿数据的时候都认为别人。
2024-04-07 15:21:59
219
原创 线程生命周期
定义了一个退出标志 exit，当 exit 为 true 时，while 循环退出，exit 的默认值为 false.在定义 exit时，使用了一个 Java 关键字 volatile，这个关键字的目的是使 exit 同步，也就是说在同一时刻只能由一个线程来修改 exit 的值。● 方法 run()称为线程体，它包含了要执行的这个线程的内容，线程就进入了运行状态，开始运行 run 函数当中的代码。如果处于就绪状态的线程获得了 CPU，开始执行 run()方法的线程执行体，则该线程处于运行状 态。
2024-04-06 21:15:21
687
原创 JVM类加载器
因此所有的加载请求都应该传送到启动类加载其中，只有当父类加载器反馈自己无法完成这个请求的时候(在它的加载路径下没有找到所需加载的Class)，子类加载器才会尝试自己去加载。采用双亲委派的一个好处是比如加载位于 rt.jar 包中的类 java.lang.Object，不管是哪个加载器加载这个类，最终都是委托给顶层的启动类加载器进行加载，这样就保证了使用不同的类加载器最终得到的都是同样一个 Object 对象。方法是由编译器自动收集类中的类变 量的赋值操作和静态语句块中的语句合并而成的。
2024-04-06 17:53:30
913
原创 java 线程池实现方式
线程和数据库连接这些资源都是非常宝贵的资源。那么每次需要的时候创建，不需要的时候销 毁，是非常浪费资源的。那么我们就可以使用缓存的策略，也就是使用线程池。
2024-04-05 20:32:51
655
原创 【大模型应用篇2】提示词实践-短剧文案
我们能做的是更多改变自己，优化提示词，增加一些自己独特想法，根据AI产生出来的文案，再进行人工优化，才达到优质作品。上面展示如何利用AIGC方式生成文案步骤，可能离真正优质的文案还是有一定的距离，但是要做深、做好、做优文案也是非常不容易的，要反复打磨提示词，让AI能够写出符合预期的文案。》带大家一起学习了提示词工程，我相信大部分朋友学完之后，还是有懵懂的，这节课带大家实操一下提示词的应用场景，现在短剧的创作很火，好看的短剧内容一定不会差，我们以短剧文案创作为例。有脚本之后，就可以刻画人物形象，方便选角。
2024-04-04 10:28:04
1142
原创 初识mysql
和我一起学AImysql 分层● 连接层:与客户端进行连接的服务主要完成一些类似连接处理,授权认证 及相关的安全方案.在该层上引入了连接池的概念● 服务层提供核心的服务功能如果sql接口,完成缓存的查询,sql的分析和优化部分及内置函数的执行.所有跨存储引擎的功能都在这一层实现服务器会解析查询并创建相应的内部解析权,并对其完成相应的优化,生成相应的执行操作服务器还会查询内部的缓存,如果缓存空间足够大,这样可以解决大量读操作的环境中,能够很好的提升系统性能。
2024-04-03 15:52:51
227
原创 微服务，容器化时代监控体系-opentelemertry
自动插桩库的使用方式可能会与编程语言相关，对于一些场景，可能只需要在你的项目依赖中增加该组件即可，对于另外一些场景，可能需要在你的代码中显式使用该包。opentelemetry的前身是Opencensus,它爹是google,它妈是微软, 目标是集成Metrics、Tracing、Logging的融合及大一统, metric指标: 例如cpu、内存、硬盘、网络等机器指标，grpc的请求延迟、错误率等网络协议指标，用户数、访问数、订单数等业务指标，都可以涵盖在内.它提供对 Tracers 的访问。
2024-04-03 10:36:52
736
原创 JVM原理
即我们常说的永久代(Permanent Generation), 用于存储被 JVM 加载的类信息、常量、静 态变量、即时编译器编译后的代码等数据. HotSpot VM 把 GC 分代收集扩展至方法区, 即使用 Java 堆的永久代来实现方法区, 这样 HotSpot 的垃圾收集器就可以像管理 Java 堆一样管理这部分内存, 而不必为方法区开发专门的内存管理器(永久带的内存回收的主要目标是针对常量池的回收和类型 的卸载, 因此收益一般很小)。在 Java 中，引用和对象是有关联的。
2024-04-02 16:30:07
610
原创 【大模型应用篇1】学会对模型念咒语
当你交代任务，如果没有将任务描述很详细，他给你的回答往往不是预期，这也是现在虽然大模型很火，但是真正在大众的普及率，远没有那么高，所以为了解决大模型对于普通人使用门槛过高，专门出现一批人对模型下咒语， 让普通人可以傻瓜式使用大模型能力，咒语被业界称为“prompt engineering”（提示工程）。
2024-04-02 16:23:37
1267
原创 【小白入门篇4】兄弟,你还在网上盗图吗
之前《【小白入门篇2】总有一款AI工具适合你》、《【小白入门篇3】还是GPT4更香》文章的介绍软件中大部分是文字生成文字的，随着人对艺术形态追求越来越高，现在AIGC领域也逐渐出现文生图、文生视频的大模型。我个人现在写文章，文章的配图就用AI工具自动生成的，避免去网上寻找浪费时间的同时，也可能导致侵权。MJ, DallE，文心一格，Leonardo.Ai这类入门门槛比较小的在线生成图片软件,可以做一些创意图片，或者业余的图片,这类图片对细节要求没那么高,如上图中,其实有些小孩的眼睛和嘴巴还是有点奇怪。
2024-03-29 13:14:13
181
原创 【小白入门篇3】还是GPT4更香
OpenAI chatgpt4毕竟是官方的版本，必然需要推荐，就是有点贵，有钱的伙伴还是优先推荐GPT4。免费比较推荐的是coze和copilot，copilot会自动使用搜索引擎获取最新消息，对于一些时间敏感性的内容获取，我会优先使用copilot, 当然coze.com也可以，同时coze.com还可以自定义gpts。缺点的是以上表格中的工具都需要kx上网才可以访问，如果大家有什么好的工具可以在留言区评论交流。如果大家仅仅是想学习如何构建自己的GPTs，coze.com还有个国内的兄弟coze.cn。
2024-03-26 17:05:11
246
原创 【小白入门篇2】总有一款AI工具适合你
介绍了GPT的形成，直到今日，GPT工具层出不穷，搞得很多初学者眼花缭乱，今天梳理一下国内外比较出名的GPT工具，适用各个领域非专业的同学选择。值得注意的是，以上都是开箱即用的工具都有web端（部分还有手机端，只需注册即可），对于小白是可以快速使用的，大部分垂直领域的工具只开放试用功能，好在大部分通用的模型都有免费版，这些通用模型在某些插件加持下，可以完成垂直领域模型的功能，同时个人感觉有手机版的工具，确实方便了不少，随着携带一名助理，不香吗。从现在开始，学会AI工具，逐渐成为人们人生必修课。
2024-03-21 16:05:45
314
原创 【小白入门篇1】GPT到底是怎样练成？
但是GPT在很多领域依然能够超越人类（毕竟人类很多时候也会一本正经胡说八道，从某种意义来说更像人类了），并且还在不断发展，GPT功能是很强，但是如何学会用它，也是一门需要学习课程（提示工程师），有些人也用了提示工程结合其他工具制作出来很多GPT外挂（GPTs）。为了完成目标，人类引导的方式成本过高，于是乎，请了一个”好老师“（reward模型），这个老师不会像人类监督那样，直接给出答案，而是对模型输出给一个反馈，只有好与不好，让模型根据反馈自动调整输出，直到老师给出好的评价。这时需要人类的指导。
2024-03-20 13:14:44
1164
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人