- 博客(207)
- 收藏
- 关注
RSS订阅
原创 2024终极指南：AI大模型从入门到精通
AI大模型是指使用大规模数据和强大的计算能力训练出来的人工智能模型。这些模型通常具有高度的准确性和泛化能力，可以应用于各种领域，如自然语言处理、图像识别、语音识别等。
2024-07-05 16:42:03
1740
原创 OpenAI最强大模型ChatGPT-4o，论文降重小技巧，国内直接使用
写论文的时候，免不了要引经据典，要引用名人的话，要引用名人的故事，要使用公式，要把定义写明白，这些内容就决定了你的论文有着居高不下的重复率，甚至是后期无论如何怎么修改，都无法撼动改变一点点这个恼人的数字。因为你要知道，论文，老师是看你给他发的第一稿，而不是查重前的第一稿，你即使内容修改，但是愿意还在，就没有问题。不过，删除法的前提是你的论文字数足够多，假设学校的要求是4万字及以上，那么，写了五万字的你就可以通过这一方法降重。系统现在对于表格的检测还不完善，在表格中重合的字数是不计入到总的重合率中的。
2024-06-28 10:55:19
2212
原创 实现职业转型，勇闯AI大模型领域：高效学习路径与就业攻略揭秘
转行AI大模型开发难吗？怎么学才能找到工作？这应该是所有新人都会面临的问题，所以我结合自己的经历，做了一些总结和学习方法，希望能对大家有所帮助。
2024-07-22 09:59:35
716
原创 【专业指南】深入解析ChatGLM3大模型的微调技巧、部署策略与开发流程
随着人工智能技术的飞速发展，大模型已经成为推动这一领域进步的核心力量。它们通过处理海量数据，学习复杂的模式和关系，为各种应用提供了强大的智能支持。从语音识别到自动驾驶，再到个性化推荐系统，大模型正在不断地改变我们的生活和工作方式。然而，对于初学者来说，大模型的世界可能显得既神秘又难以接近。熟练掌握大模型的知识和技能在未来职场将是一项基本要求。无论是为了提升自己的技术能力，还是为了在职场上保持竞争力，了解和应用大模型都十分有必要。
2024-07-22 09:56:10
562
原创 构建智能问答系统新体验：利用LlamaIndex与Qwen1.5实现检索增强生成(RAG)技术实践
LLM存在时效性和幻觉问题，在 [如何用解决大模型时效性和准确性问题？RAG技术核心原理。一文中我介绍了RAG的核心原理，本文将分享如何基于llama3和langchain搭建本地私有知识库。
2024-07-22 09:52:13
595
原创 【精选书籍】深入解析ChatGLM3：大模型微调、部署与开发的全方位指南
在人工智能的浪潮中，自然语言处理（NLP）技术正以前所未有的速度发展。ChatGLM3，作为当前领先的语言模型之一，不仅在理解语言的深度和广度上取得了显著成就，更在本地化部署、应用开发和模型微调方面展现出巨大的潜力和应用价值。而在《ChatGLM3大模型本地化部署、应用开发与微调》一书，旨在为读者提供一个全面深入的指南，以助于理解和掌握ChatGLM3模型的本地化部署策略、应用开发的技巧以及模型微调的方法。本书不仅适合NLP领域的研究人员和开发者，也适合对人工智能、机器学习和深度学习有兴趣的广大读者。
2024-07-21 17:45:00
483
原创 使用 LlamaIndex 框架搭建 RAG 应用基础实践
LlamaIndex 默认是使用OpenAI的 gpt-3.5-turbo 模型，当然你得提供, 由于众所周知的原因，用起来不是很方便。因此可以使用OpenAILike这个类来使用我们自己的本地模型，参考文档。我这边用的模型是，然后用vllm启动之后，就可以初始化类了，这里要提前安装这个包。api_key="EMPTY", # vllm 启动时没有配置，默认就是 EMPTYapi_base="http://192.168.0.1:7859/v1", # 启动 vllm 的ip地址。
2024-07-21 12:00:00
510
原创 重磅推荐！复旦大学首发中文大模型专著，引领AI学习新潮流【专业书籍精选】
在信息爆炸的时代，自然语言处理（NLP）技术如同璀璨的星辰，照亮了我们与机器沟通的道路。而今，复旦大学自然语言处理实验室的教授团队，如同航海家般，为我们带来了一本指引大语言模型领域前行的明灯——《大语言模型入门与实践》。《大语言模型入门与实践》是一本值得我们每一个人去阅读的书籍。它不仅为我们提供了全面、深入的大语言模型知识，还分享了作者团队在NLP领域的宝贵经验和感悟。这本书的发布，将引领我们走向自然语言处理的新纪元，让我们共同期待这个美好的未来！
2024-07-20 14:00:00
784
原创 三种常见大模型的API申请方法和调用实战
好久不见，我又回来了。前段时间因为学业和实习的事情，耽误了很久没有时间更新，但是我并没有闲着我一直在努力学习大模型的各种知识，对我来说感触最深的就是两个，一个是大概半个月前在一个讲定制企业私有化AI大模型的视频里，这里他说到‘AI是电，以前有了电后出现了空调；
2024-07-20 11:00:00
1421
原创 揭秘转行做大模型的原因：高薪、轻松工作、享受早下班的生活…
最近研究了一下大模型相关的内容，决定从互联网的转行做大模型推理工程化相关的工作。所以简单说说我在这个决定中的思考过程。
2024-07-20 08:15:00
598
原创 我35岁程序员不想躺平，转行到大模型赶上这波风口
35岁的程序员可能会面临以下一些问题或挑战：技术更新：技术行业变化迅速，需要不断学习新技能和新技术来保持竞争力。职业发展：可能会遇到职业发展的瓶颈，比如晋升管理层的机会有限或者想要转行但没有明确的路径。工作压力：随着年龄的增长，家庭和个人生活的责任可能会增加，同时工作压力也可能加大。健康问题：长期的编程和久坐可能会带来健康问题，如视力疲劳、颈椎病、腰椎病等。年龄歧视：在某些公司或行业中，可能会有对年长程序员的隐性偏见，认为他们不如年轻程序员灵活或愿意接受较低薪酬。
2024-07-19 10:43:07
1258
原创 突破4.5K星标！一键转换网页，探索AI赋能的知识新领域
Reader API 是一个功能强大、使用便捷的工具，它通过简化网页内容提取过程，极大地提升了开发效率和数据处理质量。其对大型语言模型的优化、图像自动标注以及流式传输的支持，使其在众多类似工具中脱颖而出。尽管在某些特定场景下可能需要额外的调整和优化，但整体而言，是一个非常值得研究的方向。
2024-07-19 10:03:02
730
原创 Hugging Face开源力作：探索五款顶尖LLM，GPT之外的选择
之前，我们分享了国内一些开源的大型语言模型（LLM）。今天，我想向大家介绍在Hugging Face平台上发现的一些国际上备受关注、被誉为超越GPT的LLM。对于熟悉LLM的朋友们而言，你们一定知道这些模型的强大之处：它们能够根据输入内容生成多样化的文本。这些模型经过大量数据训练，能够灵活模仿不同的写作风格、体裁和文本类型，其强大功能和多样性使它们在众多场景中发挥作用，例如文本摘要、问题解答和文本创作等。但为什么会说这些模型超越了GPT呢？
2024-07-19 10:00:41
537
原创 代码生成新突破：Mamba技术超越Transformer，原创研究荣登顶级新会议论文集！
欧洲OpenAI”和“Transformer挑战者”强强联合了！Mistral AI刚刚推出了其第一个基于架构的开源模型——（7B），专搞代码生成。与Transformer架构不同，Mamba架构可进行“线性时间推理”，理论上能够支持无限长度输入。Mistral AI：这也就是为啥我们用Mamba架构推出的代码推理模型抗打。Mistral AI表示已经在最多中测试了Codestral Mamba。
2024-07-18 10:42:36
743
原创 强大AI助力编程革命：利用langchain技术实现代码自动生成
正如它名字中的chain，就可以知道，通过这个框架，可以把各种东西“链”起来。它是近几个月才火起来的，是目前github增长速度排第2的仓库。截止2023年7月16日，已经有54.7k的star了。它支持nodejs和Python调用，后续的示例的代码，都会使用nodejs进行演示。让langchain通过文档中的接口信息得到接口地址字段header请求方式(示例中为post请求)再以axios的写法输出。可以看到输出结果和文档中的各项信息都是完全符合的，且代码是可用的。
2024-07-18 10:39:08
795
原创 用LangChain打造一个可以管理日程的智能助手
那么接下来的问题就是如何让GPT能够查询和操作这个表了。这里我们直接使用了LangChain的@tool装饰器，讲schedules表的基本操作设置为GPT可以识别的接口，当然使用OpenAI的纯原始接口也是可以实现的（参加我之前的文章[OpenAI的多函数调用]）,就是代码量相对会多很多。具体的代码如下，这里我定义了对schedules表的增、删、查的功能。""" 连接到数据库 """@tool""" 新增日程，比如2024-05-03 20:00:00, 周会 """@tool。
2024-07-18 10:35:31
980
原创 手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】
检索增强生成（RAG）是一种利用外部知识来增强大模型生成能力减少幻觉的主流方法，而对知识最常见的一种组织与索引的形式是向量化及基于向量相近性的检索。但除此之外，基于Graph图结构的知识图谱也是一种强大的知识组织工具，在很多场景下它可以实现更有意义的上下文检索并帮助模型输出更加准确的响应内容。我们将用实例来学习基于知识图谱的GraphRAG应用的构建：**预备知识：GraphRAG基础****构建GraphRAG：结构化数据**预备知识：GraphRAG基础。
2024-07-17 09:52:46
583
原创 LangChain初探：为你的AI应用之旅导航
先来个温馨的小提醒：这篇文章虽然较为全面地介绍了 LangChain，但都是点到为止，只是让你了解一下它的皮毛而已，适合小白选手。有了你的鼓励，我会再接再厉的！(ง •_•)ง。
2024-07-17 09:49:53
1040
原创 大模型产品琳琅满目，企业应该如何选择？
AI 和大模型方兴未艾，我们每天都在看到和尝试不同版本、不同品牌的大模型产品，它们的能力各不相同。无论是个人还是企业，都在思考如何尽早地参与进来到大模型的浪潮当中来。目前，一些先锋企业已经将 AI 和大模型融入到他们的日常业务和产品中，并取得了不错的效果。但更多企业仍处于观望或迷茫状态。在有限的预算内，企业要怎样进行 AI 和大模型的商业化或投资？该选择怎样的大模型融入业务？
2024-07-17 09:47:20
831
原创 AI大模型全解析：带你深入了解这个技术新宠
引 言近年来，人工智能（AI）大模型在计算机科学领域引起了广泛的兴趣和关注。这些模型以其庞大的参数规模和卓越的性能，在各种领域展现了巨大的潜力。本论文探讨AI大模型的定义、使用方法、发展历程、主要内容、优势以及当前最广泛的应用。一、AI大模型是什么？AI大模型是指具有大量参数和复杂结构的人工智能模型。这些模型通过深度学习技术，能够从大规模数据中学习并提取复杂的模式和规律。
2024-07-16 10:09:42
946
原创 AI+ 资源数据分析运营助手
在数字化浪潮席卷全球的今天，资源管理，作为企业运营的中枢神经，正迎来一场由人工智能（AI）引领的智慧变革。从资源的智能分配到问题的瞬间解决，AI 正在重塑资源管理的每一个角落，让效率与精准成为新常态。本文将带您深入探索 AI 如何赋能资源管理，从理论到实践，从蓝图到现实，一同见证资源管理的智慧蜕变。第一章：AI+资源管理，打造智能管理新纪元01 构建资源大模型，解锁管理新潜能想象一下，如果企业的每一项资源都能被智能系统深度理解，那么资源管理将变得多么高效与精准！这就是资源大模型的魅力所在。
2024-07-16 10:06:08
831
原创 产品经理的AI大模型学习之旅
随着人工智能技术的飞速发展，大模型（Large Language Models, LLMs）正逐渐成为产品经理（Product Manager, PM）在产品开发过程中不可或缺的工具。大模型，尤其是语言模型，能够处理和理解自然语言，为产品经理提供了一种全新的方法来分析和解决问题。大模型在产品开发中的应用主要体现在以下几个方面：用户需求分析：通过分析用户反馈、评论和问卷调查等文本数据，大模型可以帮助产品经理更好地理解用户需求和痛点。
2024-07-16 10:02:47
455
原创 构建专属RAG架构：私人定制知识库聊天机器人开发指南
通过RAG，我们开始着手解决与大语言模型相关的挑战，确保了精准答复和上下文相关的响应。跟随这一方向，相信大模型可以更好地服务于我们的日常和工作。
2024-07-15 10:16:31
841
原创 全方位指南：从零基础到实战精通，大模型学习教程全面解析！
2023年大西洋彼岸的OpenAi公司，AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，，包含🔻 压缩技术中，为什么量化要优于剪枝、蒸馏？🔻 如何搜索裁剪阈值用于裁剪outlier？🔻 包含有异常值outlier的特征如何量化？🔻 模型剪枝的技术背景🔻 模型剪枝具体方法🔻 模型剪枝前沿方法🔻 语言模型剪枝实例🔻 AI作画–以文生图🔻 扩散模型是什么🔻 扩散模型工作拓展🔻 扩散模型带来的机遇🔻 RLHF的优点和挑战🔻 RLHF如何改善大模型性能🔻 RLHF的实际应用案例。
2024-07-15 10:14:25
991
原创 LangChain4j系列：一文带你入门 LangChain4j 框架
本文主要对LangChain4j框架是什么，LangChain4j有什么并且能干什么进行了说明，并接入Ollama qwen:7b大模型实现简单的对话功能，后续文章继续对LangChain4j框架进行讲解！如何学习AI大模型？我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
2024-07-14 15:30:00
1495
原创 34岁程序员携家迁徙记：告别北京，开启新生活篇章
今天来聊一下我在北京的这17年，北京好在哪，以及为什么要选择离开， 以及下一步的打算 想 提前声明，我下面会说一些北京和英国的优点，我个人只在英国生活的一个月，我体验到的优点肯定非常片面，也欢迎评论区讨论离开北京的当天我还兴致勃勃的拿着gopro 准备拍个视频，但是下了楼看到北京天，突然很感慨，没了拍视频的兴致，拍几个照留个纪念吧。
2024-07-13 10:18:10
866
原创 2024全面攻略：从新手到大师，大模型学习的一站式成长路径
随着人工智能技术的迅猛发展，大模型（Large Models）已成为这一领域的新宠。从GPT系列到BERT，再到各类变体，大模型以其强大的能力吸引了无数开发者和研究者的目光。那么，作为一个零基础的学习者，如何快速入门并精通大模型技术呢？本文将为你提供一份详尽的学习指南。一、大模型基础概念在开始深入学习之前，我们需要了解大模型的基本概念和特点。大模型通常指的是参数量巨大、结构复杂的神经网络模型，它们能够处理海量的数据，并具备强大的学习和推理能力。二、学习路径规划数学基础。
2024-07-13 10:15:40
1430
原创 用 RLHF 训练、微调大模型，训练自己的gpt4（一）：模型微调（SFT）
相关的代码可以在github上访问：[github.com/night-is-yo…]本文主要是介绍第一部分, 微调sft官方的例子：[github.com/huggingface…]
2024-07-12 09:33:09
856
原创 如何让 GPT-4 帮你写 Prompt？
很多人苦于不知道如何写高质量的 Prompt，尤其是如果要用英文表达更是吃力，不容易表达准确。可以试试让 ChatGPT 帮你写，尤其是 GPT-4，生成的质量还是不错的。如果你只是简单要求它写一个英文 Prompt，它很可能只是把你的要求翻译一遍，这样效果可能不够理想。要让 Prompt 质量高，可以让 Prompt 遵循一个好的结构，并应用一些好的策略，例如思考链、慢思考等等。
2024-07-12 09:31:08
642
原创 AI产品经理必备技术指南：核心技能一网打尽！
美国的麻省理工学院（Massachusetts Institute of Technology）专门负责科技成果转化商用的部门研究表明：1:100，就是科学家的专利到产品落地的距离，在人工智能时代下的产品，恐怕会比1:100有更悬殊的比例，主要因为当前人工智能领域的一些技术瓶颈，例如：近些年发展迅速的深度学习（deep learning）在应用的时候对于技术人员的经验依赖性依然很强，调参、收集数据、架构设计等没有通识的普遍规律，黑盒下的操作还是占很大比例。对于人工智能的认知障碍，尽管我们当前已经在图像识别
2024-07-11 09:42:23
1219
原创 2024年就业挑战加剧，教你逆境中扭转局势的策略！
IT互联网依然是大学生最向往行业，制造业受欢迎度升高智联招聘调研数据显示，2024届求职毕业生期望行业中，IT/通信/电子/互联网、政府/非盈利机构、文化/传媒/娱乐/体育行业位列前三，占比分别为26.4%、9.4%、8.9%。IT互联网行业为应届生贡献很多就业岗位，也是应届生最向往的行业。
2024-07-11 09:40:43
423
原创 GLM4大模型微调入门实战-命名实体识别（NER）任务
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的NLP任务。
2024-07-10 12:59:24
814
原创 基于LangChain构建RAG应用
Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，上一篇文章中我们详细介绍了RAG的核心思想以及搭建向量数据库的完整过程；😲将LLM接入LangChain：选择LLM，然后在LangChain中使用；构建检索问答链：使用语法构建RAG问答链部署知识库助手：使用streamlit部署项目；帮助读者快速构建RAG应用并部署在阿里云服务器上；Streamlit是一个开源的 Python 库，它使得数据科学家和开发者能够快速构建和共享美观的机器学习模型和数据应用程序。
2024-07-10 12:56:50
733
原创 大模型算法方向实习会经常提问哪些问题？看完手撕面试官拿下offer！
举个例子：我负责了课题组的风力发电机故障诊断的项目，这个项目背景是风力发电机的运维成本极高（背景），需要对风力发电机故障进行实时诊断和提前预警（项目目标），因此利用了风力发电机100w+传感器数据，应用ResNet方法构建了风力发电机的故障诊断模型（行动），最终实现了提前预警，诊断精度提升了x%，发表了一篇一作SCI论文（结果）。例如数组、链表、堆、栈、队列、树、图等数据结构；因此需要详细准备自己的项目内容，可以用STAR方法整理，即背景是什么，项目的目标是什么，采取了什么行动，最终达成了什么结果。
2024-07-09 09:59:11
491
原创 Ollama 本地开源大模型聊天应用，非常详细手把手教会你
如果您想在localhost部署并运行开源大模型，可以试试Ollama。本文我们将使用Ollama部署，并通过API的方式调用大模型。Ollama在本地部署开源大模型，真心方便且靠谱。我在红米老爷机上运行了， 可以。结合streamlit 快速将Web搭建了出来。如何学习AI大模型？我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
2024-07-09 09:51:44
962
原创 手把手教你轻松本地部署Llama3，三分钟教会你【保姆级】
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
2024-07-08 10:38:02
463
原创 作为产品经理，如何用大模型给我们赋能？非常详细，收藏我这篇就够了
作为产品经理，您不需要成为大模型的专家，但您需要具备足够的知识来理解技术的潜力、局限性和挑战，以便在产品开发过程中做出明智的决策。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。总之，转行大模型对产品经理来说，不仅可以提升个人的技术能力和市场竞争力，还可以帮助您设计出更具创新性和用户体验的产品，从而在职业生涯中取得更大的成功。
2024-07-08 10:35:18
753
原创 精华笔记：吴恩达 x LangChain 《使用LangChain构建与数据对话的聊天机器人》（中）
我们已经将文档分割成了更小的、且语义明确的块，接下来要做的就是将这些块放入到一个索引中，这样当我们要回答某个数据集相关的问题时，就能轻松地检索到对应的块。要实现这一目标，我们需要用到两个技术：嵌入(Embedding)和向量存储(Vector Store)。
2024-07-07 15:00:00
974
原创 LangChain RAG 上册
一切都要从这张图开始说起，这是RAG的经典图涵盖了Question->Translation->Routing->Construction->DB(VectorStore)->Indexing->Documents->Retrieval->Generation->Answer今天我们就来一起学习、拆解这张图，经过这次的学习，你会对RAG有深刻的理解。
2024-07-06 16:30:00
750
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人