- 博客(53)
- 收藏
- 关注
RSS订阅
原创 对Transformer中Add&Norm层的理解
首先我们还是先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Attention，再通过Feed Forward进行输出。
2022-10-09 22:02:01
19872
10
原创 Transformer总结和梳理
首先来看一下Transformer结构的结构：Transformer是由Encoder和Decoder两大部分组成，首先我们先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构。
2022-11-20 23:54:34
2470
1
原创 对Transformer中的MASK理解
上一篇文章我们介绍了，今天我们来介绍一下对MASK的理解老规矩，还是先放一张Transformer的图片Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，而所谓的MASK在Encoder和Decoder两个结构中都有使用。Transformer中的MASK主要分为两部分：Padding Mask和Sequence Mask两部分。
2022-11-14 19:39:01
3787
原创 对Transformer中FeedForward层的理解
今天来说一下Transformer中FeedForward层，首先还是先来回顾一下Transformer的基本结构：首先我们还是先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Attention，然后又做了一个ADD&Norm，再通过Feed Forward进行输出。
2022-10-10 21:05:16
24570
6
原创 对Transformer中self-attention的理解
首先我们来看一下Transformer架构：对于input输出，首先进行input embedding，然后再进行positional encoding，将两者相加作为Encoder的输入，也就是输如X何为self-attention？首先我们要明白什么是attention，对于传统的seq2seq任务，例如中-英文翻译，输入中文，得到英文，即source是中文句子（x1 x2 x3）,英文句子是target（y1 y2 y3）
2022-10-08 11:47:04
2276
原创 对Transformer中Positional Encoding的理解
Transformer是由Encoder和Decoder两大部分组成，首先对于文本特征，需要进行Embedding，由于transformer抛弃了Rnn的结构，不能捕捉到序列的信息，交换单词位置，得到相应的attention也会发生交换，并不会发生数值上的改变，所以要对input进行Positional Encoding。Positional encoding和input embedding是同等维度的，所以可以将两者进行相加，的到输入向量。
2022-10-07 12:34:16
2204
原创 怎么理解预训练模型？
预训练“的做法一般是将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的共性，然后将其中的共性“移植”到特定任务的模型中，再使用相关特定领域的少量标注数据进行“微调”，这样的话，模型只需要从”共性“出发，去“学习”该特定任务的“特殊”部分即可。
2022-10-06 11:21:14
3260
原创 SOFTMAX回归模型
SOFTMAX函数的脉络梳理什么是SOFTMAX回归函数交叉熵损失函数什么是SOFTMAX回归函数·softmax回归跟线性回归⼀样将输⼊特征与权᯿做线性叠加·与线性回归的⼀个主要不同在于，softmax回归的输出值个数等于标签⾥的类别数·SOFTMAX是一个单层的神经网络结构图如下：运算过程如下：即我们通过神经网络预测，然后得到相应的一个分数，此时我们希望我们得到的分数是一个概率：此时我们就应该选取一个合适的方案，来将预测的分数来转化为标签的概率，那么最合适的肯定是softmax了，
2022-05-07 13:33:02
2094
原创 史上最详细的Pytorch+CUDA+CUDNN的安装(GPU版)
完整地安装Pytorch，CUDA,CUDNN,并附带教程，欢迎查看！！！
2022-04-25 11:18:19
28447
15
原创 Pytorch线性回归的详细实现
线性回归单层神经网络-线性回归代码实现：线性回归是⼀个单层神经⽹络 输⼊分别为x1和x2，因此输⼊层的输⼊个数为2,输⼊个数也叫特征数或特征向量维度,输出层的输出个数为1,输出层中的神经元和输⼊层中各个输⼊完全连接,因此，这⾥的输出层⼜叫全连接层,即一个简单地线性回归。 假设我们有三个预测数据：转化为矩阵运算：即代码实现：首先导入所需要的包：import torchimport randomimport numpy as npfrom tqdm im
2022-04-21 23:22:26
2313
原创 Pytorch自动求梯度
求梯度微分Pytorch自动微分微分通常我们见到的微分方法有两种：·符号微分法：·数值微分法：Pytorch自动微分对于一个Tensor，如果它的属性requires_grad 设置为 True，它将开始追踪(track)在其上的所有操作我们定义一个初始的tensor并且requires_grad 设置为 True：x = torch.ones(2, 2, requires_grad=True)print(x)tensor([[1., 1.], [1., 1.]]
2022-04-19 09:40:33
2293
原创 使用anacond prompt安装pytorch(CPU版)
使用anacond prompt安装pytorch使用anacond prompt安装pytorch使用anacond prompt安装pytorch·首先去anaconda官网安装anaconda，然后打开anaconda prompt（pycharm配置环境略过）：在命令行输入：Conda create –n pytorch python=3.8来创建一个关于pytorch的单独环境这里的‘pytorch’是环境名称，python=3.8是版本，都可以根据需求自行修改然后就可以进入我们创
2022-04-16 23:20:58
2673
1
原创 快速安装python包
使用以下代码pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 在最后加上你要安装的包，就OK了例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas
2021-12-08 15:46:25
1286
原创 Python修改论文的字体及其大小
Word文档修改对标题的格式修改对文章内容对修改对标题的格式修改·首先是导入包和读取word文档from docx import Documentimport refrom docx.shared import Pt, RGBColor # 字号，颜色from docx.oxml.ns import qn # 中文字体file = Document("E:\\File\\大一\\大一下学期/马克思.docx")然后对字体进行修改for run in file.paragraphs:
2021-11-25 11:13:08
2002
原创 python读取word文档
基本的读取操作读取文件内容输出文章的标题输出文章的1级标题输出文章的多级标题输出正文输出段落内容：输出一段的内容输出所有段落的内容保存文章读取文件内容from docx import Documentfile = Document("E:\\File\\大一\\大一下学期/马克思.docx")我们直接输出文章内容是不可以的：print(file)# <docx.document.Document object at 0x000002686EE048C0>我们可以使用循环的方式进
2021-11-25 10:48:51
2535
原创 KNN实现手写字体的识别
KNN实现手写字体的识别KNN算法介绍：数据的导入：导入包导入数据集数据集介绍：数据集的分割：定义KNN函数：评估准确率：完整代码：KNN算法介绍：点击这里查看KNN算法代码及其介绍数据的导入：导入包from sklearn import datasetsimport matplotlib.pyplot as pltimport numpy as npimport cv2from sklearn.model_selection import train_test_splitimport
2021-11-23 12:02:53
2537
原创 判断两篇文章的相似度
判断相似度基于jieba 关键字提取的方法textrank·关键字的提取代码：tf-idf·关键字的提取代码：统计数据统计数据的代码：完整代码：基于jieba 关键字提取的方法textrank1，将待抽取关键词的文本进行分词2，以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图3，计算图中节点的PageRank，注意是无向带权图·关键字的提取代码：#textrankdef testRank(corpus1, corpus2): keywords_textran
2021-11-21 20:22:14
1574
原创 DBSCAN聚类算法原理以及代码
算法介绍简单理解算法优点代码简单理解算法里面有两个参数，一个是半径，另一个是数量，根据半径划分范围，在这个范围内的数据可以称为直接密度可达，然后取在这个范围内的每个数据根据半径再继续划分范围，从而达到“传播”的效果算法优点不需要事先知道要形成的簇类的数量。可以发现任意形状的簇类。对噪声敏感，更容易找到噪声代码# 导入包from sklearn.cluster import KMeans # 算法from sklearn.datasets import load_iris #
2021-11-18 19:49:29
2353
1
原创 Kmeans算法提升
深入理解算法K均值调包可视化展示选取最优K值手肘法轮廓系数K均值调包# 导入包from sklearn.cluster import KMeans # 算法from sklearn.datasets import load_iris # 数据集from sklearn.model_selection import train_test_split # 数据集划分from sklearn.metrics import accuracy_score #评估from skl
2021-11-18 19:46:32
1452
原创 Kmeans算法提升
深入理解算法K均值调包可视化展示：选取最优K值手肘法轮廓系数K均值调包# 导入包from sklearn.cluster import KMeans # 算法from sklearn.datasets import load_iris # 数据集from sklearn.model_selection import train_test_split # 数据集划分from sklearn.metrics import accuracy_score #评估from sk
2021-11-18 19:35:21
1905
原创 爬虫实现百度贴吧的图片爬取
爬取图片基本流程：代码如下：基本流程：初始化要爬取的内容，然后使用requests模块进行爬取，使用xpath进行匹配，最后再将图片和详情存入文件夹里面代码如下：import requestsimport reimport timeimport randomimport lxml.etreefrom lxml.html import tostringfrom lxml import etree"""初始化参数"""kw = '篮球'base_url = 'http://tieba
2021-11-18 18:55:34
1618
1
原创 CSDN写文章怎么缩进？
每次我们写文章时，都找不到缩进的按钮，在这里进行总结一下缩进的方式 能缩进一个汉字，可叠加 能缩进半个汉字，可叠加 能缩进四分之一，可叠加一般需要所缩进两个汉字，以下方式都可以缩进两个汉字       &nb
2021-11-13 11:27:52
2017
1
原创 爬虫+基本的天气对话机器人
查询天气的对话机器人基本思路关于数据的爬取基础知识爬取的过程分析数据可视化数据的保存声音处理录音及其转文字关于语音播报代码基本思路 使用selenium模块来进行谷歌驱动，爬取相关的数据，然后将数据进行处理，利用正则分离数据，然后就是把每个功能包装成一个函数，利用得到的数据，实现存入数据库，以及存入csv等相关功能，还有一个就是数据可视化，先后荣立使用的是matplotlib和Pyecharts两个库，相对于matplotlib而言，Pyecharts做出的数据可视化更加的真实，可以动态交互的展现图表
2021-11-13 11:16:22
4162
1
原创 爬虫动态爬取京东商品的数据
动态爬取京东导入包对DataFrame处理评论处理查询的网页爬取过程关闭浏览器导入包from time import sleepfrom selenium import webdriverimport pandas as pdfrom urllib.parse import quoteimport refrom datetime import datetime对DataFrame处理pd.set_option('display.max_columns', None)pd.set_op
2021-11-12 13:56:26
2668
原创 爬虫动态爬取苏宁的商品名称、评论数、价格
爬取苏宁商品信息导入包对DataFrame进行基本的处理设置网页的像素处理评论浏览器初始化爬取过程浏览器的操作写入数据库或存入CSV文件 ·爬取苏宁的商品信息我们需要使用chrome浏览器，需要下载相应版本的去驱动，然后将驱动放在解释器的根目录下面，驱动版本要和浏览器的版本一致，下面是下载驱动的链接：http://npm.taobao.org/mirrors/chromedriver/下面就是爬取的代码以及详细的解释：导入包from time import sleepfrom seleniu
2021-11-12 13:51:26
2177
原创 线性回归模型损失和优化
性回归模型损失和优化学习任务优化方法正规方程正规方程推导过程梯度下降梯度下降公式两者的对比如何选择小规模数据大规模数据学习任务使用正规方程对损失函数优化的过程使用梯度下降法对损失函数优化的过程优化方法正规方程正规方程,一次就可以求得最合适的值理解：X为特征矩阵，y为目标值矩阵。直接求得最好的结果缺点：当特征值过多复杂时，求解速度太慢并且得不到结果。正规方程推导过程梯度下降 梯度是微积分中一个很重要的概念，在单变量的函数中，梯度
2021-11-12 13:41:30
1640
原创 什么是机器学习？
什么是机器学习？;官方解释： ·机器学习就是从“数据”中自动分析获得规律，利用规律对未知的数据进行预测。- 模型：算法模型，是一个特殊的对象，该算法模型对象中已经集成了或封装好了某种形式的算法/方程（还没有求出解）- 模型的作用： - 预测：可以通过方程或者算法产生一个新的位置的数据/事物 - 分类：可以将一个未知归类的事物给其归属到一个已有的类群中 - 注意：算法模型对应的算法或者方程求出的解就是预测或者分类的结果- 样本数据： - 模型的训
2021-11-11 23:26:28
1713
原创 第一次搭建成功MySQL数据库
首先了解一下MySQL数据库： 简单理解，就是好多表，类似Excel的工作簿 操作系统看来：文件是文件的整体，文件内容不关心 数据库系统看来：每一条记录才是问题的关键，比文件更细数据表： 二维的数据结构，有行有列，有一个略显奇怪的名字：关系 一行叫一条记录，代表一个交易、一个数据条目：机器学习中叫“样本” 一列叫一个字段，代表记录的性情：机器学习中叫“特征”关于MySQL的安装安装过程略，安装完成需要配置环境变量，把bin目录的路径添加上去，
2021-11-11 23:15:25
2753
原创 关于python中的类，很详细
类的组成·类属性·实例方法·静态方法·类方法创建类的语法（基本模板）class Student: #Student为类的名字， native_place='吉林' #类属性 def __init__(self,name,age): #name,age为实例属性,直接写在类里的变量，称为类属性 self.name=name #self.name为实例属性，进行了一个赋值操作，将局部变量name赋值给实例属性 self.age
2021-11-11 23:06:15
1316
原创 学生信息管理系统的解析
学生信息管理系统的七大模块学生信息管理系统基本理解系统业务流程系统开发环境主函数数设计流程由函数图得出函数基本骨架录入学生信息业务流程代码如下删除学生信息业务流程代码如下修改学生信息业务流程图代码如下查找学生信息功能业务流程图代码如下统计学生总人数业务流程图代码如下排序业务流程图代码如下显示所有学生信息业务图代码如下最后得出这个工程完整的代码学生信息管理系统基本理解系统业务流程系统开发环境·操作系统：Win10·Python解释器版本：Python3.8·开发工具：PyCharm·P
2021-11-11 22:57:49
9123
1
原创 Matplotlib第三弹
在多个坐标系下绘制多个图形基本参数代码如下：画图结果数学函数绘图画图小结：matplotlib.pyplot.subplots(nrows=1, ncols=1, **fig_ kw)创建一个 带有多个axes(坐标系/绘图区)的图基本参数Parameters:nrows, ncols :设置有几行几列坐标系int, optional, default: 1, Number of rows/columns of the subplot grid.Returns:fig :图对象axes :返
2021-11-11 22:44:33
1177
原创 Matplotlib第二弹
在一个坐标系添加多个图像绘制一个图像绘制两个图像风格设置显示图例图例的位置：绘制一个图像#画出温度变化图plt.rcParams['font.sans-serif']=['SimHei'] #显示中文标签plt.rcParams['axes.unicode_minus']=False# 0.准备数据x = range(60)y_shanghai = [ random. uniform(15,18) for i in x]# 1.创建画布plt. figure(figsize=(20, 8)
2021-11-10 22:57:54
1027
原创 Matplotlib第一弹
什么是matplotlib？·专门用于开发2D（3D）图表的包matplotlib.pyplot模块·matplotlib.pyplot包含了一系列类似于matlab的画图函数图形绘制流程：·1.创建画布-- plt.figure() plt. figure(figsize=(), dpi=) figsize:指定图的长宽 dpi:图像的清晰度 返回fig对象·2.绘制图像- plt.plot(x, y) 以折线图为例·3.显示图像-- plt.sh
2021-11-10 22:11:43
1142
原创 朴素贝叶斯+拉普拉斯平滑代码实现-方法二
手撕代码首先导入包：数据的读取：计算出好瓜的概率：计算坏瓜的概率：单个数据的预测：整体预测：首先导入包：import pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import scorerimport numpy as np数据的读取：datasets = pd.DataFrame([["青绿", "蜷缩", "浊响", "清晰", "凹陷", "硬滑", "是"
2021-11-10 13:48:59
1547
原创 朴素贝叶斯+拉普拉斯平滑代码实现
手撕代码数据的读取取好坏瓜：求先验：特征提取：求P(*|好瓜)：求P(*|坏瓜)：预测好坏瓜的函数：验证结果：输出：数据的读取import pandas as pd# melon2 = pd.read_csv('E:\\work\ml\\Python_Project_01\\sklearn_week\\week_10\\melon2.0.csv', index_col='编号')melon2 = pd.DataFrame([["青绿", "蜷缩", "浊响", "清晰", "凹陷", "硬滑",
2021-11-10 13:37:14
1731
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人