- 博客(60)
- 收藏
- 关注
RSS订阅原创 聊聊Embedding(嵌入向量)
简单来说，嵌入是用向量表示一个物体，这个物体可以是一个单词、一条语句、一个序列、一件商品、一个动作、一本书、一部电影等，可以说嵌入(Embedding)涉及机器学习、深度学习的绝大部分对象。这些对象是机器学习和深度学习中最基本、最常用、最重要的对象，正因如此，如何有效表示、学习这些对象就显得非常重要。
2024-07-21 08:45:00
917
原创 聊聊语言模型与知识图谱
语言模型泛指：大语言模型LLM、通用模型GLM。 语言模型也是知识库。基于语言模型下的实现，比如ChatGPT，BERT，ChatGLM等等，这类知识库就像是已经人为处理好、编排好、可直接使用的知识库。
2024-07-20 08:45:00
348
原创 35+程序员的新生机，转战AI大模型，拥抱未来风口
在新冠疫情后的大环境下，各行各业的就业情况都变得异常艰难，互联网行业更是首当其冲，频频爆出裁员的消息。对于程序员来说，这无疑是一个巨大的挑战。一方面，降本增效、AI技术的爆火导致岗位变少；另一方面，互联网的飞速发展又在不断地吸引年轻的竞争者进入市场。在这种环境下，程序员面临着前所未有的压力。面对这样的困境，程序员们不得不开始思考自己的职业发展。有人选择继续卷技术，不断提升自己的竞争力；有人选择转管理岗，寻求职业的稳定；而更多的人则在考虑转行。转行并非易事，但在这个时代，转行到AI大模型领域。
2024-07-19 15:50:04
735
原创 精通Prompt，激发大语言模型300%潜能
prompt template就是一个prompt的模板，通过prompt template，我们可以快速的生成多个prompt。基本上prompt template已经帮我们描述好了场景，要做的事情。我们只需要填入具体的内容即可。假如你是一个金融公司的理财经理，请你分析一下{stock}这只股票。
2024-07-19 10:43:54
652
原创 大语言模型的开发利器langchain
简单来说，langchain是一个基于大语言模型只上的开发框架，有了他，我们就可以轻松在各种大模型之上进行实际应用的开发。langchain的主要特点有两个，第一点就是组件化。langchain提供了各种封装好的组件供我们使用，大大缩短了我们开发的时间。第二点就是提供了工具链，可以组装各种组件，从而实现更加复杂的功能。有了langchain的各种工具，现在你就可以快速开发一个属于你自己的LLM应用啦。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。
2024-07-19 09:57:32
598
原创 年薪可达百万！想进入AI行业却不懂编程？一文解锁零编程基础也能驾驭的9大AI岗位
企业对炙手可热的AI人才争夺日趋激烈，除了AI技术人才，能够探索AI应用的人才，将AI工具融入工作流程，以提高生产率、节省时间的人才，以及能够连接技术端与业务端的人才也是很多企业的目标。因此催生了AI领域的全新职位。以下九种与AI相关的岗位无需编程技能即可胜任，岗位具体薪资会根据公司规模及求职者经验有所浮动。
2024-07-18 13:46:25
816
原创 使用ollama + AnythingLLM快速且简单的在本地部署llama3
因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。
2024-07-18 11:57:45
302
原创 langchain中的LLM模型使用介绍
LLM是大语言模型最基础的模式，chat模式的底层就是基于LLM实现的。后续我们会详细介绍chat模式，尽请期待。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。
2024-07-18 11:53:39
609
原创 ChatGPT火了，AI产品经理的春天来了！
最近，ChatGPT火得一塌糊涂，简直就像一颗超级明星，把所有人的目光都吸引了过来。微软看到这股势头，果断放弃了元宇宙，全身心投入到AI的怀抱。各大公司和有钱的大佬们也坐不住了，纷纷跳进AI的池塘，都想搞出个中国的ChatGPT，觉得这玩意儿能彻底改变我们做软件的方式，带来一波新的生产效率大爆炸。有位老前辈说过，人要成功，得自己拼命干，但也不能忽略时代的大潮。作为产品经理，如果我们想赶上AI这趟快车，那就得亲自下场，不能错过这波AI带来的大好机会。不过，想成为AI产品经理，可不是件容易的事。
2024-07-03 17:58:07
247
原创 常见激活函数图与数学表达式汇总
因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。
2024-06-21 17:52:34
546
原创 PyTorch下使用MNIST训练GAN
由于 MNIST 数据集图像为灰度图只有一个通道，因此只需要设置单个通道的 mean 与 std 即可。这里的取值，可以是将图像像素值\[0,255\] 缩放至 \[0, 1\]后求得均值和方差，也可以是根据经验设置，即 mean=0.5, std=0.5。
2024-06-20 17:52:15
711
原创 PyTorch下，使用list放置模块，导致计算设备不一的报错
在复现 Transformer 代码的训练阶段时，发生报错：RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!
2024-06-20 17:47:39
758
原创 PyTorch中实现Transformer模型
因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。
2024-06-20 17:45:44
548
原创 机器学习常见的sampling策略 附PyTorch实现
print(inf)')')每个类的采样概率可抽象为：\(p_j=\frac{n_jCn_i^q}\)，\(p_j\)表示从j类采样数据的概率；\(C\)表示类别数量；\(n_j\)表示j类样本数；因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。
2024-06-19 17:59:53
1023
原创 AI人工智能产品经理，就该这么学！
想入行AI人工智能产品经理，该如何学习呢？随时AI的兴起，AI产品经理开始爆火，很多功能性产品经理想转行做AI产品经理。转行的原因，这个仁者见仁智者见智。唯一的共同点就是，大家都看好AI行业的发展前景，及可以拿到高薪。为了帮助大家花小钱办大事，馆长经过1个多月的收集整理，推出了这份“AI人工智能产品经理资料包” ，涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频。
2024-06-19 17:34:12
702
原创 拥抱AI浪潮，手把手教你做AI产品经理
ChatGPT的爆火，让人看到了新的生产力发展方向，微软也因此放弃了元宇宙，ALL In AI，各大巨头和资本也陆续进入，誓要打造中国版的ChatGPT，并觉得人工智能可以改写现有的程序应用场景，带来新的生产力变革。一位长者曾经说过，一个人的命运啊，当然要靠自我奋斗，但是也要考虑到历史的进程。作为产品经理，我们只有躬身入局，才能不会错过这次人工智能的浪潮。主动改变是红利，被动改变是后退！
2024-06-19 17:22:37
628
原创 AI浪潮下24年毕业生的就业机遇，人工智能高薪优选
据教育部数据统计，2024高校毕业生规模预计达1179万人，将再创历史新高，“就业难”仍是当前大学毕业生需要直面的问题。在此背景下，选择一个就业前景好的专业尤为重要。如果说2023是人工智能爆发的一年，那么2024年，人工智能的影响力将进一步增强，它对我们的生产生活、学习工作的影响将越来越明显，未来发展前景非常广阔。软件工程师、高级网络工程师、爬虫工程师、系统架构师、算法工程师、数据挖掘工程师、深度学习工程师、风控工程师等。
2024-06-17 17:59:50
666
原创 抢占人工智能行业红利，前阿里巴巴产品专家带你15天入门AI产品经理
当互联网行业巨头纷纷布局人工智能，国家将人工智能上升为国家战略，藤校核心课程涉足人工智能…人工智能领域蕴含着巨大潜力，早已成为业内共识。面对极大的行业空缺，不少人都希望能抢占行业红利期，进入AI领域。传统互联网PM、在校生、传统行业从业者……都有机会借助人工智能浪潮，进入AI 产品经理岗位，实现个人价值，甚至驱动一个时代的改变。然而当下，已经有很多人工智能技术层面上的资料，却很少有专门传授如何成为和做好AI产品经理经验的干货。
2024-06-15 19:00:16
1316
原创 DistilBertModel模型的简单解释
DistilBertModel 中的主要组件，该模型基于 Transformer 架构，用于处理自然语言文本数据，并学习文本的向量表示。这样得到的向量表示可用于后续的机器学习任务，如文本分类、情感分析等。
2024-06-15 18:28:47
854
原创 transformer模型首次体验代码
AutoTokenizer是自动分词工具。它的作用是根据你选择的模型，自动选择和该模型匹配的分词器（tokenizer），本例我选择 distilbert-base-uncased-finetuned-sst-2-english 模型，AutoTokenizer会自动选择和该模型匹配的分词器。
2024-06-15 18:26:49
571
原创 生成式AI技术有哪些应用场景
生成式AI是简化创意人员、工程师、研究人员、科学家等工作流程的有力工具，其使用案例和可能性涵盖所有行业和个人。生成式AI模型可以接收文本、图像、音频、视频和代码等输入，并将新内容生成成上述任何形式。例如，它将文本输入转换为图像，将图像转换为歌曲，或将视频转换为文本。
2024-06-14 17:31:27
587
原创 生成式AI入门指南
生成式AI模型通过神经网络辨识现有数据中的规律和架构，从而创造出新的独特内容。这类模型的突破性进展之一在于，它们可以运用无监督或半监督学习等不同训练方法。这使得各类组织能够更简单、更快地利用大量未标注数据来构建基础模型。基础模型这一概念，如其名称所示，作为一种可供多个AI系统共享的基石。GPT-3和稳定扩散等基础模型便是典型案例，它们分别以语言为载体，赋予用户生成新内容的能力。比如，ChatGPT（借鉴了GPT-3的技术）这款流行的人工智能应用，能让用户根据简洁的文本提示生成一整篇文章。
2024-06-14 17:29:33
439
原创 大语言模型LLM-三种模型架构
一般由self-attention op, residual op, norm op, feedforward op(linear op, activation op)这几种层操作构成，其它各种模型Attention层可能实现不同，大多数是这些op组成结构及顺序不同而已，本质上没有区别
2024-06-13 11:17:48
934
原创 大规模分布式训练并行模式
模型在不同GPU上具有完全一致的副本，包括模型参数、模型梯度、模型优化器状态，这些都是完全相同的。唯一不同的是不同GPU上处理的数据是不同的，在每次梯度更新时，对所有数据产生梯度之和求平均，然后更新。
2024-06-13 11:13:29
883
原创 环艺转行AI产品经理，这一世我要选择朝阳赛道！
比较重要的还是产品思维的养成，包括了解产品的工作流、运营的方法、用户需求调查的方法等产品知识，这些都需要长期时间积累并且要体现在简历上。然后在学习的过程中也得去了解不同产品像金融产品、营销产品、AI产品它们的主要产品功能框架是怎么样的，它们都解决了什么需求，同门类的不同产品它们的功能侧重点又有什么不同等。在我面试的时候常会遇到hr询问竞品分析相关的内容，如果事先无准备的话会吃亏。
2024-06-12 15:41:46
981
原创 自动求导实现与可视化
micrograd为一个自动梯度引擎，其实现了反向传播算法，用于学习理解深度学习中的自动求导原理。自动求导无论再传统的机器学习中还是深度学习或是目前非常热门的大语言模型GPT中其都是非常重要基础部分。
2024-06-12 12:01:03
823
原创 机器学习是什么？
近几年机器学习非常火，机器学习并不是近来才出现的已经出现了几十年了，但随着互联网、移动互联网、计算资源的迅猛发展使得机器学习有了**庞大的数据**、 **廉价的计算资源**、 **广泛的应用场景**；三种条件可以说缺一不可，互联网、移动互联网带来了大数据与广泛的应用场景，摩尔定律使得机器越来越便宜云计算的出现又让计算资源更廉价了；使得机器学习有了快速的发展并引爆技术圈；现在比较火的深度学习其实也只是机器学习的升级版；
2024-06-12 11:28:23
559
原创 AI产品经理的转行之路，如何迈向年薪80w的职业高峰？
在当今科技日新月异的时代，AI产品经理作为一个炙手可热的职业，吸引了众多向往高薪与前沿领域结合的求职者的目光。年薪80万的诱惑力无疑是巨大的，但不少自学中的朋友发现，即便涉猎广泛的产品知识，想要顺利转型成为AI产品经理依旧困难重重。。接下来，让我们深入探讨如何克服这些障碍，踏上成为AI产品经理的成功之路。
2024-06-11 18:01:20
1469
原创 使用Langchain与ChatGLM实现本地知识库（二）
大语言模型也只是将用户提供的大规模数据集训练而来，也并非万能的什么都知道，特别是一些小众知识、内部数据或私密的个人数据等，此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答；不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在的知识可从中作答，不属于知识库中的内容还是按照大模型原来方式生成，精准度会高不少；知识库的内容包括文本、PDF、图片、视频、网页等等；
2024-06-11 15:33:24
899
1
原创 使用LangChain与ChatGLM实现本地知识库（一）
本篇主要内容为介绍ChatGLM3的安装使用，后续才会涉及到使用LangChain实现本地知识库的内容； ChatGLM为智谱与清华大学开源的一个大语言模型，支持多轮对话、内容创作等，ChatGLM3-6B为ChatGLM3系列中门槛相对较低的一个，本地部署提供兼容OpenAI的API； LangChain用于快速开发基于大语言模型应用程序的框架，提供了一整套工具、组件、接口等使得程序与大语言模型轻松交互组件快速组合、集成；如在模型上外挂本地知识库等；
2024-06-11 15:31:10
752
原创 Transformer架构在大型语言模型(LLM)中的应用与实践
Transformer架构是当今最前沿的语言模型技术之一，它已经在谷歌的BERT、OpenAI的GPT系列中取得了显著的成就。这一架构之所以独特，是因为它打破了传统的序列处理模式，引入了创新的“自注意力”机制。
2024-06-08 21:22:45
606
原创 在企业内部落地大模型效果好吗？——我们该怎么做
大模型赛道现在发展如火如荼，但大家都是在卷价格，卷应用，关于场景的讨论较少。这篇文章，我们来看看大模型在行业内、企业内，正在发生的变化。每一次新技术的到来，都引得各家蜂拥而上。大模型的热浪，烧到了全球每个角落。在底层大模型、及应用架构探索方面，美国遥遥领先。在应用层面上，中国会像互联网、移动互联网一样，取得百家争鸣甚至赶超欧美的盛况吗，大概率会，但尚需多少时日，暂不得而知。但有一点是明确的，敢于尝鲜的猎人，已经出发……下面就让我们来看看，在行业内、企业内，正在发生的变化。
2024-06-07 17:58:53
876
原创 使用 Transformers 为多语种语音识别任务微调 Whisper 模型
Whisper 是一系列用于自动语音识别 (automatic speech recognition，ASR) 的预训练模型，它由来自于 OpenAI 的 Alec Radford 等人于2022 年 9 月发布。与等前作不同，以往的模型都是在未标注的音频数据上预训练的，而 Whisper 是在大量的已标注音频转录数据上预训练的。其用于训练的标注音频时长高达 68 万小时，比 Wav2Vec 2.0 使用的未标注训练数据 (6 万小时) 还多一个数量级。
2024-06-07 17:38:08
1312
1
原创 7 种查询策略教你用好 Graph RAG 探索知识图谱
知识图谱是一种使用图结构的数据模型或拓扑来集成数据的知识库。它是一种表示现实世界实体及其相互关系的方式。知识图谱常用来实现搜索引擎、推荐系统、社交网络等业务场景。Cypher 是由图数据库支持的一种声明性图查询语言。通过 Cypher，我们告诉知识图谱我们想要什么数据，而不是如何得到结果数据。这使得 Cypher 查询更易读、更好维护。此外，Cypher 易上手使用，且能够表达复杂的图查询。%%ngql该查询语句将找到与棒球队“Philadelphia Phillies”相关的所有实体。
2024-06-07 17:21:23
910
原创 老程序员学习AI大模型的焦虑与机遇
在这个科技飞速发展的时代，AI大模型成为了编程领域的热门话题。许多人都认为，学习AI大模型是获取高薪职位和实现职业发展的关键。然而，作为一名拥有十多年编程经验的老程序员，我不得不承认，面对这一新兴技术，我曾感到焦虑和迷茫。我一直相信“天道酬勤”，但在这个时代，似乎“认知、选择、眼光”更为重要。我深知，如果我一直保持观望的态度，那么我将永远无法入局，更别提窃取时代红利了。因此，我决定勇敢地迈出学习AI大模型的第一步。在学习过程中，我意识到，虽然年龄和经验可能给我带来一些学习上的挑战，但我也有自己的优势。
2024-06-06 18:57:19
1251
1
原创 使用ollama分别在我的window、mac、小米手机上部署体验llama3-8b
应该说llama3给与了开源模型更广阔的思考空间，期待开源模型更大的进步让我们拭目以待。同时希望Meta在接下来的时候能将llama3-400的发布。就在实验此文章的过程中也发现了：高通与Meta宣布合作，优化Meta新推出的Llama 3大语言模型在骁龙终端上的运行。Llama 3有两种版本，分别为80亿和700亿参数，旨在为智能手机、PC、VR/AR头显和汽车等设备提供强大的开源语言模型支持。
2024-06-06 15:12:57
1099
原创 通过ORPO技术微调 llama3大模型(Fine-tune Llama 3 with ORPO)
ORPO是一种新颖的微调技术，它将传统的监督微调和偏好对齐阶段整合到一个过程中。这减少了训练所需的计算资源和时间。此外，经验结果表明，ORPO在各种模型大小和基准测试中都超过了其他对齐方法。 在本文中，我们将使用ORPO和TRL库来微调新的Llama 3 8B模型。
2024-06-06 14:52:44
900
原创 人工智能，AI人才供不应求，别观望了，赶紧冲
在21世纪的科技浪潮中，人工智能（AI）已不再仅仅是科研实验室中的概念，而是迅速渗透到我们日常生活的方方面面，成为驱动全球经济增长的新引擎。随着AI技术的广泛应用，从智能制造、智慧城市到金融科技、医疗健康，各行各业都在经历深刻的变革。然而，这场技术革命背后，隐藏着一个不容忽视的现实——AI人才供不应求，这一现象正成为制约行业发展的重要因素。
2024-06-05 16:42:57
731
原创 Transformer系列：图文详解KV-Cache，解码器推理加速优化
每步推理都将前文整句输入模型是一种效率低下的方式，原因是存在相同结果的重复推理。令前一次待推理的文本长度为S，下一次为S+1，由于网络中的各项参数已经固定，因此两次推理对于前S个token的计算结果是完全相同的， 包括Embedding映射，每一层、每一个注意力头下的KQV映射，注意力权重，以及后续的FFN层都在重复计算。根据shift-right的性质，下一个token是由当前最后一个token的网络输出所决定的，那能不能仅输入最后一个token来进行推理？
2024-06-05 15:04:55
765
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人