- 博客(27)
- 资源 (8)
- 收藏
- 关注
RSS订阅转载 超细节的BERT/Transformer知识点
超细节的BERT/Transformer知识点海晨威海晨威Growth is a song1,219 人赞同了该文章随着NLP的不断发展，对BERT/Transformer相关知识的研(mian)究(shi)应(ti)用(wen)，也越来越细节，下面尝试用QA的形式深入不浅出BERT/Transformer的细节知识点。1、不考虑多头的原因，self-attention中词向量不乘QKV参数矩阵，会有什么问题？2、为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？3、使用B
2021-09-27 17:18:21
209
原创 常用函数用法汇总
常用函数用法汇总1、zip函数>>>a = [1,2,3]>>> b = [4,5,6]>>> c = [4,5,6,7,8]>>> zipped = zip(a,b) # 打包为元组的列表[(1, 4), (2, 5), (3, 6)]>>> zip(a,c) # 元素个数与最短的列表一致[(1, 4), (2, 5), (3, 6)]>>> zi
2021-09-26 15:54:26
375
原创 【敲黑板】Linux系统SSH客户端断开后保持进程继续运行配置方法
1、概述在Linux系统中，通常我们在执行一些运行时间比较长的任务时，必须等待执行完毕才能断开SSH连接或关闭客户端软件，否则可能会导致执行中断。本文介绍几种保障程序在用户退出登录后持续运行的方法。2、详细信息2.1使用管理终端执行通过使用管理终端连接Linux实例登录实例。执行所需程序或脚本。之后需要查看任务执行状态时，再次连接管理终端查看即可。2.2使用nohup执行nohup可以使后面的命令不会响应挂断（SIGHUP）信号。也就是说，通过远程登录执行nohup命令后，即使退出登录后，程
2021-08-30 20:49:57
266
原创 【深度学习】NLP｜用GRU模型给周董写首歌
1、数据准备 最近经常看到网友对新闻的评论，好多评论都说编辑是越来越懒，文章都是让机器人写的，词不达意，语句不通都放上去，骂声一片。突发奇想，使用GRU模型训练一段文本，看能否预测出让大家看得懂的文本。 本人对周董的歌比较感兴趣，就收集到周董的歌词，下边就开始实现文本生成任务，让机器给周董写一首歪果仁（中国人估计也不是很懂哦，哇咔咔）听不懂的歌。1.1 导包from __future__ import absolute, division, print_function, unicode_lit
2021-08-28 20:40:15
547
原创 【Pytorch】NLP｜文本数据分析代码实现
1、文本数据分析方法常用的几种文本数据分析方法:标签数量分布句子长度分布词频统计与关键词词云2、标签数量分布2.1 获取训练集和验证集的标签数量分布# 导入工具包import seaborn as snsimport pandas as pdimport matplotlib.pyplot as pltimport jiebaimport jieba.posseg as psegfrom itertools import chainfrom wordcloud impo
2021-08-20 20:41:26
1188
原创 深度学习：目标分割｜UNet网络模型及案例实现
1 UNet网络架构UNet网络由左编码部分，右解码部分和下两个卷积+激活层组成编码部分从图中可知：架构中是由4个重复结构组成：2个3x3卷积层，非线形ReLU层和一个stride为2的2x2 max pooling层（图中的蓝箭头，红箭头）每一次下采样特征通道的数量加倍解码部分和编码层类似，反卷积也有4个重复结构组成每个重复结构前先使用反卷积，每次反卷积后特征通道数量减半，特征图大小加倍（绿箭头）反卷积之后，反卷积的结果和编码部分对应步骤的特征图拼接起来（白/蓝块）如果编
2021-08-15 10:07:12
12901
1
原创 深度学习：目标检测｜YoLoV2学习总结
1 介绍 YoLoV2又叫YoLo9000，对比YoLoV1，它的识别对象增加到了9000个，预测种类增多，而且速度快，准确度高。下面，我们主要通过对比YoLoV1，学习YoLoV2在YoLoV1基础上做了哪些改进和提升。2 YoLoV22.1 YoLoV2模型结构...
2021-08-14 21:49:00
462
原创 深度学习：目标检测｜YoLoV1算法
1、YoLo算法 YoLo 算法采用一个单独的CNN模型实现端到端的目标检测，利用整张图作为网络的输入，直接在输出层回归bounding box的位置及其所属的类别，结构如下图所示：图片resize成固定大小送入CNN网络，进行分类回归任务 YoLo算法和R-CNN算法不同之处就是YoLo算法是一个整体的框架（one-stage），而R-CNN是two-stage，需要提取候选框和目标分类回归两个步骤。1.1 算法思想 YoLo是You Only Look Once，不同于R-CNN
2021-08-12 15:48:46
553
原创 机器学习：朴素贝叶斯算法学习及案例实现
1 概率样本数职业体型是否喜欢1程序员超重不喜欢2产品匀称喜欢3程序员匀称喜欢4程序员超重喜欢5美工匀称不喜欢6美工超重不喜欢7产品匀称喜欢1.1 条件概率 表示事件A在另外一个事件B已经发生条件下的发生概率，即P(A|B)在女神喜欢的条件下，职业是程序员的概率是：女神喜欢条件下，有2，3，4，7共4个样本4个样本中，有程序员3，4共2个样本则P(程序员|喜欢) = 2/4=0.5
2021-08-07 08:42:23
2944
1
原创 深度学习：图像检测之非极大值抑制
1 介绍 非极大值抑制（Non-Maximum Suppression，NMS），顾名思义就是抑制不是极大值的元素。例如在行人检测中，滑动窗口经提取特征，经分类器分类识别后，每个窗口都会得到一个分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到NMS来选取那些邻域里分数最高（是行人的概率最大），并且抑制那些分数低的窗口。 NMS在计算机视觉领域有着非常重要的应用，如视频目标跟踪、数据挖掘、3D重建、目标识别以及纹理分析等 。 在目标检测中，NMS的目的就是要去除冗
2021-08-03 19:36:41
657
1
原创 深度学习：图像分类之GoogLeNet
1.介绍 GoogLeNet的名字不是GoogleNet，而是GoogLeNet，这是为了致敬LeNet。GoogLeNet和AlexNet/VGGNet这类依靠加深网络结构的深度的思想不完全一样。GoogLeNet在加深度的同时做了结构上的创新，引入了一个叫做Inception的结构来代替之前的卷积加激活的经典组件。GoogLeNet在ImageNet分类比赛上的Top-5错误率降低到了6.7%。1.1 Inception块 GoogLeNet中的基础卷积块叫作Inception块，Incept
2021-08-01 09:18:26
3884
原创 深度学习：算法优化之动量算法（Momentum）
1.原理 运用物理学上的动量思想，在梯度下降的问题中引入动量项 mmm 和折扣因子 γ\gammaγ，公式为：mt=γmt+1m_t=\gamma m_{t+1}mt=γmt+1其中 mmm 是动量项mmm的指数加权平均后的值，γ\gammaγ表示历史梯度的影响力，也就是权重值，γ\gammaγ越大，权重越大。从直观上看，如果当前时刻的梯度与历史梯度方向趋近，这种趋势会在当前时刻加强，否则减弱。2.指数加权平均 在分析动量算法之前，我们先来了解指数加权平均的含义。假定给一个序列，例如北京一年每
2021-08-01 08:39:10
4749
1
原创 深度学习：优化算法之前向传播、链式法则和BP反向传播
1.前向传播1.1 概念 前向传播是指数据输入神经网络中，逐层向前传输，一直运算到输出层为止。 经过前向传播，得到的最终结果与真实值之间的误差，这个误差就是损失函数。1.2 前向传播运算以一个简单的神经网络为例，激活函数是：sigmoidneth1=w1i1+w2i2+b=0.15×0.05+0.2×0.1+0.35=0.3775net_{h1}=w_1i_1+w_2i_2+b=0.15\times0.05+0.2\times0.1+0.35=0.3775neth1=w1i1+w2
2021-07-29 09:23:22
500
原创 机器学习：XGBoost介绍及公式推导
1.XGBoost算法原理 XGBoost（Extreme Gradient Boosting）全名极端梯度提升树，在绝大多数回归和分类问题上表现突出，因此，在集成算法中，XGBoost是公认的王牌算法。最优模型构建方法 通过之前的算法学习，我们知道：一般构建最优算法模型，其实就是最小化训练数据的损失函数，我们用字母L表示损失，如下式：minf∈F 1N∑i=1NL(yi,f(xi))\min _{f \in F} \ \ \ \frac{1}{N} \s
2021-07-25 17:39:00
2974
2
原创 机器学习：支持向量机（supported vector machine）基本介绍及公式推导
1 SVM基本介绍1.1 SVM算法定义 SVM全称是supported vector machine（支持向量机），即寻找到一个超平面使样本分成两类，并且间隔最大。 SVM能够执行线性和非线性分类，回归，甚至是异常值监测任务。特别适用于中小型复杂数据集的分类。1.2 SVM和逻辑回归的区别逻辑回归和SVM都是寻找一条分类直线，目标是把这两个类别分开逻辑回归的最终判断标准是：准确率，而SVM最终的判断结果是：准确率+最大间隔逻辑回归的分类直线可能有多条，而SVM的分类直线只有一条。
2021-07-23 17:45:24
1474
1
原创 机器学习：聚类算法
1. 聚类概念 一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。 在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。 聚类算法和分类算法最大的区别是：聚类是无监督学习算法，而分类算法是监督学习算法。2. 聚类算法的实现流程随机选择 K 个样本点作为初始聚类中心计算每个样本到 K 个中心的距离，选择最近的聚类中心点作为标记类别根据每个类别中的样本点，重新计算出新的聚类中心点（平均
2021-07-20 07:52:41
1175
原创 机器学习：集成学习之Bagging
1 集成学习基本介绍1. 工作原理生成多个分类器或者模型，各自独立的学习和做出预测整合多个学习器预测，最终输出预测 集成学习中，每一个学习器叫做弱学习器（基学习器），这些弱学习器共同组成的最终的强学习器。集成学习方法能够带来什么样的好处呢？可以提升单个分类器的预测准确性。例如：单个学习器的性能上不来了，我们可以通过整合多个学习器来提升单个学习器的性能上限。可以避免模型选择问题。例如：我们训练出的多个模型，要选择哪个呢？干脆我们就不选，将多个模型整合到一起使用。关于构建一个集成学习
2021-07-19 16:41:01
1464
原创 机器学习：集成学习之boosting
1.Boosting介绍Boosting体现了提升的思想：每一个训练器重点关注前一个训练器不足的地方进行训练通过加权投票的方法得出最后的预测结果2.Boosting和Bagging对比区别一：数据方面Boosting：使用的是全部训练样本，根据前一个模型的学习结果调整数据的重要性Bagging：对数据进行采样训练区别二：集成策略Boosting：对所有的弱学习器预测的结果进行平权投票，票数较多的最终的强学习器的预测结果。Bagging：每一个后边的弱学习器对前一个弱学习器进行
2021-07-19 13:01:18
3983
原创 机器学习：线性回归之损失函数、正规方程、梯度下降、过拟合和欠拟合、正则化
1.线性回归1.1 定义与公式线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归通用公式：h(w)=w1x1+w2x2+⋯+wnxn+b=WTX+bh(w)=w_1x_1+w_2x_2+\cdots+w_nx_n+b=W^TX+bh(w)=w1x1+w2x2+⋯+wnxn+b=WTX+b其中W、X可以理解为矩阵
2021-07-16 13:43:10
4726
原创 机器学习：决策树之信息熵、信息增益、信息增益率、基尼指数分析
信息熵信息理论从信息的完整性描述：当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。从信息的有序性描述：当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散，熵值越高。“信息熵” (information entropy)是度量样本集合纯度最常用的一种指标。信息熵理解信息熵是一个变量包含信息多少的度量方式信息熵的值越大，则认为该变量包含的信息量就大信息熵越大，表示包含的信息种类就越多，信息量就越大，信息越混乱分散，纯度就越低信息熵只和包含的信息种类
2021-07-15 21:42:22
6812
原创 机器学习：逻辑回归之混淆矩阵、精度、召回、F1-score、ROC曲线、AUC指标分析
1、肿瘤预测案例数据描述（1）699条样本，共11列数据，第一列用语检索的id，后9列分别是与肿瘤相关的医学特征，最后一列表示肿瘤类型的数值。（2）包含16个缺失值，用”?”标出。（3）2 表示良性、4 表示恶性代码：import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScal
2021-07-14 13:55:57
2407
原创 使用matplotlib工具绘制坐标系
# 导入matplotlib模块import matplotlib.pyplot as plt# 设置画布plt.figure(figsize=(20, 8), dpi=100)# 获取坐标轴对象axes = plt.gca()# 去掉右边框和上边框颜色axes.spines['right'].set_color('none')axes.spines['top'].set_color('none')# 导入matplotlib模块import matplot..
2021-07-04 16:55:05
1402
原创 创建单向链表、添加节点、删除一个节点、删除重复节点操作（Python）
创建单向链表、添加节点、删除一个节点、删除重复节点操作（Python）# 定义节点类class SingleNode(object): # 初始化属性 def __init__(self, item): # 数据域 self.item = item # 链接域 self.next = None# 定义链表类class SingleLinkList(object): # 初始化属性（头节点指向node，node默认为None） def __init__(self, node=
2021-06-28 16:36:56
475
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人