- 博客(26)
- 收藏
- 关注
RSS订阅原创 【AIGC】LangChain入门指南——第三章 模型I/O
本章我们将要介绍的是LangChain的核心，也是整个执行RAG（Retrieval-augmented Generation）流程的基础，模型I/O。我们在执行一个智能体任务时，会将整个任务分解为多个基础任务，但凡涉及到自然语言处理的基础任务都需要与大语言模型交互，交互的流程就必须交由模型I/O模块来完成，它由模型包装器、提示词模版、输出解释器三部分组成，它决定了我们调用什么样的模型、输入的文本内容、输出的文本格式，我们控制三者的自由组合来处理各式各样的任务。
2024-06-25 19:57:07
602
原创 【AIGC】如何从0开始快速打造个人知识库
最近我在使用一些AIGC的产品时发现一个问题，我没有办法让它能够结合我现有的数据内容回答我的问题，并且让这些数据保存起来让我随时都能使用或者是分享出去给其他人使用，我发现一个很实用的平台小杨同学可以构建个人的知识库，而且还能白嫖那些基础的文本生成功能，感觉生成的内容和那些充会员的几乎差别，这就很爽，主打就是一个不花钱就是白嫖。
2024-06-25 17:00:05
527
原创 【AIGC】LangChain入门指南—第二章 LangChain入门指南
前面一章我们了解了LangChain和一些大语言模型的基础知识。接下来我们继续跟随《LangChain入门指南》深入的了解LangChain的体系架构以及具体的应用场景，并且尝试使用LangChain构建第一个基于大语言模型的应用。文章的结尾提供了一个基于LangChain开发的AIGC知识库平台，可以免费使用，有任何疑问欢迎提出。LangChain为LLM应用的开发者提供了很大的便利，包括模型的接口，常用的组件和大量常用的提示词。为那些准备进入LLM应用开发领域的人铺平了最后一公里的道路。
2024-04-11 20:30:00
794
原创 【AIGC】LangChain入门指南—第一章 LangChain：开启大语言模型时代的钥匙
LangChain入门指南》是目前相对全面的介绍了LangChain这个框架的内容与如何使用这个框架开发一个基于大语言模型的应用程序的一本书。如果你打算了解基于大语言模型的应用程序的基础知识或者是开发一款程序，都可以从这本书入手。下面我将带着大家从头到尾的梳理一遍这本书的知识点，完成一些示例代码的开发。文章的结尾提供了一个基于LangChain开发的AIGC知识库平台，可以尝试使用，有任何疑问欢迎提出。
2024-04-01 19:00:00
541
原创 边境的悍匪—机器学习实战：第十九 大规模训练和部署TensorFlow模型
这一章是这本书的最后一章，最后的我们学习的是整个机器学习中不可获取的一部分：模型的部署与一些加速训练的方法。当我们已经拥有了完美的模型的时，想到的第一件事就是将模型部署到生产环境中发挥他的能力。正常情况想我们会像开发模型是那样，调用predict（）来完成模型的预测，其实这并不是最好的选择。我们在训练模型的时候也会遇到由于模型规模很大，需要处理的数据庞大的问题，面对这些我们都有很好的解决办法，下面就让我们一起来看一下吧。我们可以使用TF Serving来完成模型的部署与版本迭代。
2022-08-22 19:00:00
1069
2
原创 边境的悍匪—机器学习实战：第十八章 强化学习
强化学习同样是一个很古老在很早之前就已经提出来的思想，目前主要应用与游戏领域，并且已经在该领域取得了不错的成绩，达到了超越人类的水平。它与一般的有监督学习不同，没有标签的概念，而只有奖励机制，通过给智能体反馈正向或者反向的奖励来约束智能体找到一个最优解，并且它要比有监督学习的训练复杂，值得高兴的是目前科学家们已经提出了可以简化构建一个强化学习系统的各种技术与框架。现在就让我们来看看吧。我们在训练一个智能体时有一个关键的前提，就是需要为智能体提供一个训练的环境。............
2022-08-18 00:08:25
291
原创 边境的悍匪—机器学习实战：第十七章 使用自动编码器和GAN的表征学习和生成学习
我们在训练一个神经网络时，会遇到拥有一个很庞大的数据集，但是数据集中有标签的只占一小部分的情况，还会遇到数据集特征很多同样很庞大同时又存在很多无用的特征等一系列的问题。面对这些问题我们可以使用无监督学习、特征选择、降维来解决，虽然都有办法可以解决，但是过程复杂且繁琐。这一章需要学习的自动编码器和GAN就是用于解决这些问题，两个技术虽然解决的问题是同一个，但是实现方法完全不同。现在就让我们来学习一下吧。......
2022-08-05 15:39:10
802
原创 边境的悍匪—机器学习实战：第十六章使用RNN和注意力机制进行自然语言处理
在整个人工智能领域，自然语言处理是一个很热门并且有着非常广泛应用领域的技术。最早在1950年图灵就已经提出了自然语言处理的雏形，不过那个时候还是采用硬编码的方式来对应一些人与人之间的基础交流。随着时代的发展技术的变革，如今的我们已经可以使用循环神经网络来处理一些人类的文字信息，并且能够完成一些翻译、情感分析、自动写作等一些需要人们进行大量的统计分析或者是学习才能完成的事情。本章选中RNN在实际应用中的一个部分自然语言处理进行展开，讲解了RNN中处理文字序列时的作用与使用方法。githubhttps。....
2022-07-25 07:00:00
686
原创 边境的悍匪—机器学习实战：第十五章 使用CNN和RNN处理序列
在我们的实际生活中会遇到很多的数据信息，大致分为两种1、有规则的，例如时间、日期、距离、气温…都是由一定的规则组成然后传递给我们或者计算机。2、无规则的，例如文本内容，音频、自然语言。同样是信息的载体，但是计算机可以很容易的处理有规则的数据，但是对于无规则的数据却很难处理。科学家们提出了循环神经网络（RNN），用于处理分析这些无规则的数据。由于RNN可以处理任何长度的序列，所以它在处理文本、句子、音频时有很好的效果，不过我们在训练一个RNN时同样也会遇到问题。下面就让我们来了解一下这个优秀的神经网络。...
2022-07-14 23:40:00
1096
2
原创 边境的悍匪—机器学习实战：第十四章 使用卷积神经网络的深度计算机视觉
神经网络除了基础的前馈神经网络，还有一些可以用于特殊场景的神经网络结构。这一章我们来了解一下常用于计算机视觉的神经网络结构——卷积神经网络（CNN）。受到生物视觉皮层的启发，科学家们提出了卷积神经网络的概念，使得网络中的神经元并不是一对一的全连接，而是使用一些特别的规则链接在一起，并且提出了两个概念：卷积层、池化层。随着时间的发证更多的科学家在原始CNN结构的基础上做出了很多的变体，并在各种赛事中取得了优异的成绩。下面就让我们来看一下吧。科学家们在对动物的视觉皮层进行研究时发现，不同的神经元在大脑的皮层中起
2022-07-06 07:00:00
216
1
原创 边境的悍匪—机器学习实战：第十三章 使用TensorFlow加载和预处理数据
我们训练模型的过程中，有很多的时间需要用来完成数据的分析与处理，并且这一部分的工作会占去你大部分的精力。我们在模型训练的前期阶段就已经会面临很多的问题：1、数据集较大难以加载，2、每个实例之间关联性很强导致的模型过拟合，3、对数据的预处理。这些问题很棘手处理起来很复杂，所以TensorFlow针对这些问题都提供了它特有的解决方式。让我们一起来看一下吧。一些小批量的数据可以直接使用把数据加载到内存中的方式来预处理数据，但是如果涉及到无法放入内存的大量数据，那么就需要先对这些数据进行预处理。使用首先预处理的方
2022-06-21 07:00:00
455
原创 边境的悍匪—机器学习实战：第十二章 使用TensorFlow自定义模型和训练
我们在训练或者是构建一个神经网络的时候，在一些特殊情况出现时，我们可能会需要自定义一个神经网络的组件，例如：损失函数、激活函数、指标或者是层、模型，虽然这往往是一些极少出现的情况，但我们还是需要学会如何使用。本章节大部分为应用与实操，很少有需要理解的理论部分，就让我们一起操作起来吧。TensorFlow是由Google Brain团队开发的用于数值计算的强大的库，非常适合大规模的机器学习。并且TensorrFlow为机器学习提供了tf.keras、数据加载、数据处理在内的多个核心功能，和一个完整丰富的生态。
2022-06-08 07:00:00
656
1
原创 边境的悍匪—机器学习实战：第十一章 训练深度神经网络
第十一章 训练深度神经网络文章目录第十一章 训练深度神经网络前言一、思维导图二、主要内容三、课后练习四、总结前言前面的一章我们了解了什么是神经网络，神经网络的发展、组成、应用等一系列的知识。在上一章的基础上我们开始进入这一章，训练深度神经网络的学习。一、思维导图二、主要内容三、课后练习四、总结对文章有任何疑惑或者想要和博主一起学机器学习一起进步的朋友们可以添加 群号：666980220。需要机器学习实战电子版或是思维导图的也可以联系我。祝你好运！项目地址: github...
2022-05-24 07:00:00
246
1
原创 边境的悍匪—机器学习实战：第十章 Keras人工神经网络简介
第十章 Keras人工神经网络简介文章目录第十章 Keras人工神经网络简介前言一、思维导图二、主要内容三、课后练习四、总结前言一、思维导图二、主要内容三、课后练习四、总结对文章有任何疑惑或者想要和博主一起学机器学习一起进步的朋友们可以添加 群号：666980220。需要机器学习实战电子版或是思维导图的也可以联系我。祝你好运！项目地址: github...
2022-05-07 07:00:00
673
原创 边境的悍匪—机器学习实战：第九章 无监督学习任务
第九章 无监督学习任务文章目录第九章 无监督学习任务前言一、思维导图二、主要内容1、聚类2、高斯混合模型三、课后练习四、总结前言我们在解决实际问题的时候会遇到很多没有标签的数据，但是给实例打上标签又是一个费时费力的过程，这个时候我们就可以使用无监督学习来解决这个问题。这只是无监督学习的一个应用，他还能解决包括异常检测，图片分割，推荐系统在内的多个实际问题，并且无监督学习还有针对解决不同问题时使用的不同算法，下面就让我们来一起学习一下。一、思维导图二、主要内容1、聚类概念我们在面对一个
2022-03-03 19:00:00
1114
原创 边境的悍匪—机器学习实战：第八章 降维
第八章 降维文章目录第八章 降维前言一、思维导图二、主要内容三、课后练习四、总结前言一、思维导图二、主要内容三、课后练习四、总结对文章有任何疑惑或者想要和博主一起学机器学习一起进步的朋友们可以添加 群号：666980220。需要机器学习实战电子版或是思维导图的也可以联系我。祝你好运！项目地址: github...
2022-02-22 19:00:00
323
原创 边境的悍匪—机器学习实战：第七章 集成学习和随机森林
第七章 集成学习和随机森林文章目录第七章 集成学习和随机森林前言一、思维导图二、主要内容1、投票分类器2、bagging和pasting3、随机补丁和随机子空间4、随机森林5、提升法6、堆叠法三、课后练习四、总结前言在上一章我们提到过吧很多的决策树集成到一起来提高模型的准确性，集成出来的这个模型称之为随机森林，这种集成的方式就是集成学习。对于一个很复杂的问题，一个人的回答并不一定是准确的，但是如果我们收集了成千上万个人的答案然后对这些答案进行统计得出最后的结果，那么这个结果很大的概率就是正确的答案
2022-02-15 19:30:00
902
原创 边境的悍匪—机器学习实战：第六章 决策树
第六章 决策树文章目录第六章 决策树前言一、思维导图二、主要内容1、训练和可视化决策树2、做出预测3、估计类概率4、CART训练算法5、计算复杂度6、基尼不纯度或熵7、正则化超参数8、回归9、不稳定性三、课后练习四、总结前言前一章我们学习一个很强大的机器学习模型，支持向量机。这一章我们来继续学习下一个强大的模型，决策树。它同样支持分类和回归，多用于做分类任务，决策树也是会面会提到的随机森林的基础。决策树同样是在训练集中拟合一个模型，不同的是，如果在不做任何限制的情况下，决策树容易过拟合训练数据，并且
2022-01-19 19:00:00
707
原创 边境的悍匪—机器学习实战：第五章 支持向量机
第五章 支持向量机文章目录第五章 支持向量机前言一、思维导图二、主要内容三、课后练习四、总结前言一、思维导图二、主要内容三、课后练习四、总结对文章有任何疑惑或者想要和博主一起学机器学习一起进步的朋友们可以添加 群号：666980220。需要机器学习实战电子版或是思维导图的也可以联系我。祝你好运！项目地址: github...
2022-01-12 19:00:00
406
原创 边境的悍匪—机器学习实战：第三章 分类
第三章 分类文章目录第三章 分类前言一、思维导图二、主要内容三、课后练习四、总结前言一、思维导图二、主要内容三、课后练习四、总结
2021-12-17 22:08:20
1046
原创 边境的悍匪—机器学习实战：第二章 端到端的机器学习项目
第二章 端到端的机器学习项目提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录第二章 端到端的机器学习项目前言一、思维导图二、主要内容1.引入库2.读入数据三、课后练习四、总结前言上一章我们对机器学习的基础只有了一个大概的了解，什么是机器学习、它的应用、它的类型以及应用他的挑战。接下来的这一章我们将会通过一个项目的实战，模拟把机器学习运用到工作中的具体操作流程。从拿到需求到把模型训练出来的完整流程。我们开始吧！提示：以下是本篇文章正文内容，下面案例可供参考一、思维导
2021-12-03 19:00:06
654
原创 边境的悍匪—机器学习实战：第一章 机器学习的基础知识
第一章 机器学习的基础知识文章目录第一章 机器学习的基础知识前言一、书本简介二、主要内容三、课后练习总结前言本人第一次接触机器学习，想要通过阅读一本书的方式了解并学会运用机器学习所以选择了《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》，在很多本书中纠结，最终选定这一本理论结合实践的讲解方式的书。一、书本简介这本机器学习畅销书基于TensorFlow 2和Scikit-Learn的新版本进行了全面更新，通过具体的示例、非常少的理论和可用于生产环境的P
2021-10-31 19:03:01
589
原创 边境的悍匪—Kaggle—泰坦尼克号生还预测详细教程
边境的悍匪—Kaggle—泰坦尼克号生还预测详细教程前言项目介绍前期准备加载数据初步分析数据清洗数据分析特征转换建模与调优模型训练与预测总结前言最近在学习机器学习，想要把学习到的知识运用到实践中，找了很多地方终决定使用kaggle上的数据集。文章主要描述第一次加入到kaggle中完整的完成对泰坦尼克号数据挖掘、分析到预测，最后上传到平台获取分数的一个过程。该项目是博主的第一个kaggle项目，记录下来用作学习和分享，全文有任何疑点欢迎立刻联系并指出我的错误，不喜勿喷。项目介绍泰坦尼克号的沉没是历
2021-08-29 23:53:56
760
原创 使用python实现自动爬取得物交易记录，商品信息进行数据分析
使用python实现自动爬取得物交易记录，商品信息进行数据分析前言开发流程实现过程1、API抓包2、破解请求数据分析数据包逆向验证3、编写爬虫代码4、反爬结束语与结果展示前言文章尽用于交流学习。刚刚学习爬虫有一段时间，打算找一个网站突破一下，提升一下自己的爬虫与逆向能力。刚好最近买东西都在使用得物APP，所以就决定突破一下它。整个过程很曲折，踩了很多坑，遇到很多做之前没有预料到的问题。项目一共分为两个版本，第一版是由mitmproxy+appium自动化操作APP完成获取数据，由于完成之后发现爬取过程
2021-07-26 21:56:04
10675
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人