- 博客(59)
- 收藏
- 关注
RSS订阅原创 软考-系统架构师备考 之 综合题必背知识点 ——软件架构篇
本系列系统地整理和背诵软件架构和软件工程的知识点。本篇介绍了软件架构，包括基础定义、视图、架构风格、基于架构的软件开发方法、软件架构评估、特定领域软件体系结构、软件复用和遗留系统等。
2024-10-13 11:06:40
878
原创 关于最近研究OpenAI o1和“推理Scaling Laws”后的一些个人观点
本篇是《带你自学大语言模型》系列的番外篇，写一些我最近研究OpenAI o1和推理Scaling Laws后的一些个人观点分享。
2024-09-23 08:29:49
1088
原创 2.6 大模型数据基础：大模型评估数据详解
本篇从大模型的评估方法，评估数据集来谈大语言模型的评估，主要侧重于数据集角度。本篇仍然是工具属性较多，整理了大量的评估数据集来源，建议是可以收藏，有需要的时候再看，我也是这样操作的
2024-09-05 08:41:33
1167
原创 AI时代的程序员：关于创业、应用开发与快速成长的经验分享 | CSDN杭州线下分享
上周六参加了一个CSDN组织的线下技术沙龙，做了一个《AI时代的程序员：关于创业、应用开发与快速成长》主题的分享，所以本篇内容对当时分享的内容做一个整理，感谢CSDN平台和鲲志大佬的组织，让大家有了一次深入的沟通交流。
2024-09-04 08:51:54
1185
原创 2.5 大模型数据基础：微调阶段数据详解
本篇对大模型微调阶段的数据集做一个详细的介绍，微调阶段一般需要的数据量较少，也会相对聚焦在某一类特定任务上。但数据的质量和多样性仍然起着十分重要的作用。所以，构建指令数据是个精细化的过程。
2024-08-26 09:39:14
639
原创 6.1 RAG 技术概览，从AI搜索谈起——《带你自学大语言模型》系列
后面计划开始写RAG系列了,前面的坑也会陆续填的。本节6.1.1聊聊Al搜索,非技术向的,6.1.2~6.1.6 是RAG技术向的,大家按需取用即可。
2024-08-24 10:22:12
892
原创 2.4 大模型数据基础：预训练阶段数据详解 ——《带你自学大语言模型》系列
近年来，语言模型已经完成了向“预训练+微调/提示”范式的迁移，在这个范式下，预训练阶段要解决的关键问题是借助大规模语料资源，抽取那些语言的共性结构和关系，而微调阶段要解决的是如何借助小规模的专用数据集，进行模型能力的“垂直下沉”的问题，前者广，后者专。但无论如何，模型能力本质上是来源于所见过的训练数据，因此数据工程就变得极为重要。在训练过程中，高质量、大规模、多样化的数据集对于大模型训练至关重要。
2024-08-10 18:41:06
1241
原创 从LLaMa 3 技术报告，再看LLM构建过程 ——《带你自学大语言模型》系列（番外）
上周LLM圈的大事件，莫过于LLaMa 3.1和 Mistral Large 2这两个开源模型的发布。本文对LLaMa 3进行技术分析
2024-08-04 16:44:28
841
原创 2.2 大模型算法基础：Transformer —— 《带你自学大语言模型》系列
努力用这一万字，把Transformer相关知识讲明白......
2024-08-04 16:37:15
1055
原创 2.3 大模型硬件基础：AI芯片（上篇） —— 《带你自学大语言模型》系列
算力是AI发展的驱动力，大模型时代更要格外关注算力。目前的大模型是个重资产行业，底层竞争在于半导体产业，AI的发展离不开芯片，甚至可以说，整个信息时代的发展都离不开芯片。
2024-07-20 23:02:03
995
原创 1.2 如何让机器说人话？万字长文回顾自然语言处理（NLP）的前世今生 —— 《带你自学大语言模型》系列
【思考】1.在让机器说人话这件事上，人们都做了哪些尝试？2.基于神经网络的语言模型，核心的任务有哪几步？3.人理解语言的方式和计算机理解语言的方式有什么相同和不同？
2024-07-07 15:28:13
1063
原创 2.1 大语言模型的训练过程 —— 《带你自学大语言模型》系列
大语言模型的训练主要包括哪几个阶段？每个阶段需要的数据、算力、训练方式、产出模型分别是什么？ 每个阶段的训练难点分别是什么？哪个阶段是必须的，哪个阶段是可选的？ 每个阶段模型的训练难点分别是什么？
2024-06-29 19:02:25
1071
原创 1.1 从图灵机到GPT，人工智能经历了什么？——《带你自学大语言模型》系列
本节主要从发展史的角度，梳理自AI诞生起经历了哪些阶段，从而让我们更清晰地认识到，当下我们是处在哪个位置？虽然今天正处于本轮AI的应用爆发初期，大家更感兴趣的是如何基于大模型做应用开发，但我仍然希望读者愿意花十几分钟的时间，去探索这个领域是如何走到今天的。对当下是否真的走在了”正确“的道路上，有自己辨证且深入的思考。与其杞人忧天 AI 产生智慧，我们更应该担心自己因为人云亦云从而失去智慧。
2024-06-23 15:26:01
1229
原创 带你自学大语言模型系列 —— 前言
今天开始计划开启一个系列 《带你自学大语言模型》。该系列的落脚点是“自学”和“大语言模型”，二者不分伯仲，因为我不想只做大语言模型知识的传递，互联网上已经有太多同质化的信息了；我希望能以学习大语言模型作为开始，帮助你一步步养成自学的能力。
2024-06-02 12:10:23
865
原创 每周AI新闻（2024年第13周）OpenAI语音引擎15秒复刻人声|阿里开源MoE架构大模型|马斯克发布Grok-1.5
这里是陌小北，每周日解读每周AI大事件。本周热点：OpenAI语音引擎15秒复刻人声 | 阿里开源MoE架构大模型 | 马斯克发布Grok-1.5
2024-03-31 17:20:01
1164
原创 每周AI新闻（2024年第12周）Kimi支持200万字上下文|Stability AI CEO及核心团队集体离职|Grok大模型开源|Suno发布音乐模型v3
每周日解读每周AI大事件。本周热点：Kimi支持200万字上下文|Stability AI CEO及核心团队集体离职|Grok大模型开源|Suno发布音乐模型v3
2024-03-24 18:05:29
596
原创 每周AI新闻（2024年第11周）Meta公布Llama 3集群细节 | Sora将于年内推出 | 全球首个AI软件工程师发布
这里是陌小北，每周日解读每周AI大事件。本周热点事件：Meta公布Llama 3集群细节 | Sora将于年内推出 | 全球首个AI软件工程师发布
2024-03-17 11:45:46
1114
原创 每周AI新闻（2024年第10周）Claude 3发布 | OpenAI“宫斗”调查结果公布 | 阿里已注资五家大模型独角兽
这里是陌小北，每周日解读每周AI大事件。本周热点：Anthropic 最强模型 Claude 3发布 | OpenAI“宫斗”调查结果公布 | 阿里已注资五家大模型独角兽
2024-03-10 11:33:21
1123
原创 每月AI科研动向（2024年2月）
我是陌小北，每月不定时更新前一个月AI领域科研新进展，拿走不谢，欢迎提建议。目前的分类包括：LLM研究、Agent、多模态、特定领域应用、世界模型。内容较多所以每个相对简略。
2024-03-09 20:26:40
1109
原创 每周AI新闻（2024年第9周）微软与Mistral AI达成合作 | 谷歌发11B基础世界模型 | 传苹果放弃电动汽车制造转向生成式AI
这里是陌小北,每周日解读每周AI大事件。本周热门:微软与Mistral Al达成合作|谷歌发11B基础世界模型|传苹果放弃电动汽车制造转向生成式AI
2024-03-03 11:10:42
1501
2
原创 每周AI新闻（2024年第8周）谷歌推出开源大模型Gemma | Groq自研AI芯片 | 英伟达成立GEAR研究具身智能体
这里是陌小北，每周日解读每周AI大事件。本周事件：谷歌推出开源大模型Gemma | Groq自研AI芯片 | 英伟达成立GEAR研究具身智能体
2024-02-25 08:34:58
1134
原创 结合OpenAI、Google、Meta发布Sora、Gemini Pro 1.5、V-JEPA，分析三家AGI路线及当前情势
本文脉络：1、浅谈2月15日及2024年三家发布的产品；2、三家AGI路线的异同分析；3、用三国视角浅析当前三家格局和策略；4、陌小北对于AGI的一些看法。
2024-02-20 10:21:21
1259
原创 每周AI新闻（2024年第7周）OpenAI发布视频生成模型Sora | 谷歌推出Gemini 1.5 | 英伟达公开超级计算机
这一周，国外各厂真是不让我们消停儿过年呐，新闻一个个跟下饺子似的，冷不丁还炸锅一两个。这里是陌小北，每周日解读每周AI大事件。
2024-02-18 17:14:53
1011
原创 每月AI科研动向（2024年1月）
每月不定时更新前一个月AI领域科研新进展，拿走不谢，欢迎提建议。目前的分类包括：LLM研究、Agent、多模态（图像、音视频、其他）、特定领域应用、具身智能。内容较多所以每个相对简略，后续会对必要的专题做更进一步的研究。
2024-02-06 13:37:34
1148
原创 每周AI新闻（2024年第5周）ChatGPT等多应用登陆 Vision Pro | 字节Coze国内版上线等
每周日20:00，准时解读每周AI大事件。
2024-02-04 20:01:59
1660
原创 每周AI新闻（2024年第4周）OpenAI GPT降价增效，ChatGPT支持对话@GPTs | 通义千问Qwen-VL升级 | 哄哄模拟器爆火
我是陌小北，一个正在研究硅基生命的、有趣儿的碳基生命。每周日20:00，准时解读每周AI大事件。
2024-01-28 20:00:43
1333
原创 AI Agents综述论文读后总结，附一些关于Agent System的脑洞
关于AI Agents的研究，有两篇综述性文章值得关注，可以说是涵盖了目前AI Agents的所有研究成果，对于对此领域感兴趣的人来讲，可以说是喜大普奔，往后需要哪个细分方向的资料，按图索骥就好。本文是2023.10.02发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的，所以搬运过来。
2024-01-26 20:37:38
1247
原创 AI Agents系列—— 探究大模型的推理能力，关于Chain-of-Thought的那些事儿
今天要读的论文是《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，算是关于大模型思维链研究的开山之作。本文是2023.07.24发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的，所以搬运过来。
2024-01-26 19:58:50
1362
原创 探寻ChatGPT底层模型诞生之路 —— 3篇OpenAI关键论文解读
本篇文章主要阅读三篇论文，分别代表着GPT、GPT2、GPT3。本文是2023.02.20发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的。
2024-01-23 19:57:36
1394
原创 探寻ChatGPT底层模型诞生之路 —— Transformer关键论文解读
这篇是论文解读《Attention Is All You Need》，是一篇由Google Brain团队于2017年提出的论文，它引入了一种新的神经网络架构——Transformer。而ChatGPT所基于的GPT模型，其核心就是这个Transformer架构，所以它的重要程度是不言而喻的。
2024-01-23 14:06:38
960
原创 每周AI新闻（2024年第3周）Meta研发Llama 3 | 苹果Vision Pro预售 | 智谱AI发布GLM-4
我是陌小北，一个正在研究硅基生命的、有趣儿的碳基生命。每周日20:00，准时解读每周AI大事件。
2024-01-21 20:01:19
1297
原创 分析 GPT Store究竟是不是下一个APP Store？是不是普通人的机会？附GPTs构建教程和安全策略
本文首先从盈利模式、内容质量和安全性三方面探讨了GPT Store是否能成为下一个APP Store的问题。然后希望读者独立思考,合理利用GPT,并提供了GPTs相关的构建教程和安全防护建议。
2024-01-21 11:21:18
1228
原创 AI热潮背后：普罗大众该何去何从？
本文脉络：【01】引言【02】对AI不同态度的四类人【03】为什么写这篇文章【04】普通人在AI时代如何破局的思考。
2024-01-21 08:17:53
1229
原创 【Java工具箱】JDK内置的工具
javap - Java反编译工具，根据字节码反汇编为Java代码jps - 显示当前所有进程的Pidjstat - 监控虚拟机，在jvm性能优化时经常用到e.g jstat -gc -h10 pid 1000 每1秒更新一次pid进程的gc情况jcmd - jps的替代工具，可以查看本地jvm信息jinfo - 查看jvm的全部参数jhat - 分析Java堆的命令jmap - 打印进程内存中对象的情况，在内存泄露或内存溢出时经常用到的命令.
2020-05-20 01:07:42
297
原创 【Linux】Vim常用操作
复制粘贴（命令模式）复制：yy/yw粘贴：p光标移动（命令模式）左下上右：h/j/k/l跳到文件头：gg跳到文件尾：G行内光标移动：移动到行首：^移动到行尾：$按单词移动：向前：w，2w……；向后：b，2b……查找（命令模式）查找关键字：/关键字查找与替换（全文）：:%s/关键字/替换内容/gc特定行之间查找与替换（例如10-20行）：:10,20s/关...
2020-02-27 11:03:52
236
原创 【微服务】关于分布式链路追踪
本篇的主要思路在于从分布式链路的思想开始，接下来介绍应用较广泛的开源实现Zipkin，最后对Spring Cloud Sleuth这个具体的解决方案进行说明。追踪链的思想追踪链的思想起初来源于Google关于Dapper的论文。核心思想在于：当一个请求经过多个服务，收集每个服务处理的具体执行情况。目前有很多机遇Dapper的开源实现，例如Zipkin，HTrace，SkyWalking等。为...
2020-02-17 01:13:08
353
原创 【分布式】高并发下的性能利器——缓存
俗话说得好，在计算机领域，没有什么事情是不能通过一个中间层解决的，所以我们看到，在操作系统中有Cache，网络环境中有CDN，MySQL中有缓冲池，分布式系统中有分布式缓存，真理就是如此言简意赅。李智慧老师在《大型网站技术核心原理与案例分析》一书中也说网站性能优化第一定律：优先考虑使用缓存优化性能。初识缓存首先来看缓存定义缓存是指将数据存储在相对较高访问速度的存储介质中Trad...
2020-02-13 01:11:15
308
原创 【Java】JVM调优操作手册（实战篇）
在调优之前，首先要明确调优的目标，针对不同的应用场景，有不同的衡量指标：响应时间： 关注系统对请求的响应速度，比如To C的应用，用户体验比较重要，这类应用的重点要在短时间做出响应吞吐量： 关注特定时间段内最大化应用程序工作量，我们的JVM调优主要集中在两个方面：调整堆大小；调整垃圾收集器。常用的JVM参数JVM调优常规步骤分析当前问题：也就是你为什么要进行此次调优，比如启动...
2020-02-12 09:17:34
505
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人