![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
hongyesuifeng
奋斗在路上,努力充电中。
展开
-
卷积神经网络发展
LeNetAlexNetZFNetVGGNetResNetDenseNetGoogLeNetInceptionv3和Inception-ResNetResNeXtXceptionSENetscSECBAMSqueezeNetMobileNetShuffleNetGhostNetNASNetEfficientNet原创 2020-09-14 19:32:05 · 559 阅读 · 0 评论 -
新闻文本分类-Task5
Task05:基于深度学习的文本分类本章主要探索两个深度学习模型在文本分类上面的原理和应用。一个是CNN模型的应用TextCNN,另一个是RNN模型的应用TextRNN。TextCNNtextCNN模型的原理图如下每个词通过向量来表示,模型的上游可以通过word2vec等方法学习得到每个单词的词向量表示,在进行卷积操作,此时的卷积和以往的图片卷积不同,是通过n*d,d表示词向量的维度,卷积的列如果小于d,会导致卷积提取的是词内部部分信息,这样没有意义。所以通过n*d的卷积核来进行的,可以使得wor原创 2020-08-04 21:50:43 · 276 阅读 · 0 评论 -
新闻文本分类-Task4
Task04:基于fasttext的文本分类fasttext 原理说明原创 2020-07-27 20:19:40 · 341 阅读 · 0 评论 -
新闻文本分类-Task3
Task03:基于机器学习的文本分类本次主要基于传统的机器学习方法来进行文本分类。主要的思想是通过TFIDF来进行,TDIDF介绍的很多了,本文就不再介绍了,想了解相关原理的可以看下这篇博客https://blog.csdn.net/hongyesuifeng/article/details/90256387基本思想是通过TFIDF来思想来对句子的特征进行表示的。首先通过计算每个词的TFIDF值,因为这里未做基本的数据处理,可能会把停用词和标点符号也算进去,主要是跑通全流程。SVM和KNN等模型方法速原创 2020-07-22 15:04:41 · 234 阅读 · 0 评论 -
新闻文本分类-Task2
Task2 数据读取与分析文件基本探索1.train_set.csv为训练数据,总计20W条,测试集test_a.csv,总计5W条。ll *.csvwc -l *.csv2. 训练集合一共有14个类别,用0-13来表示具体类别。awk -F'\t' '{print $1}' train_set.csv|sort -u3.类别从0-13的量级依次递减,最多的类别比最低类别约42倍,是明显的多类别不平衡问题,但是相对类别不平衡问题还不算特别严重。但是需要关注少数类的分类精度和召回,比如原创 2020-07-21 16:51:30 · 257 阅读 · 0 评论 -
新闻文本分类-Task1
Task01:赛题理解一、赛题数据赛题以新闻数据为赛题数据,数据集报名后可见并可下载。赛题数据为新闻文本,并按照字符级别进行匿名处理。整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。赛题数据由以下几个部分构成:训练集20w条样本,测试集A包括5w条样本,测试集B包括5w条样本。为了预防选手人工标注测试集的情况,我们将比赛数据的文本按照字符级别进行了匿名处理。处理后的赛题训练数据如下:label text6 57 44 66原创 2020-07-20 20:35:28 · 241 阅读 · 0 评论 -
动手学深度学习PyTorch版-微调
微调热狗识别%matplotlib inlineimport torchfrom torch import nn, optimfrom torch.utils.data import Dataset, DataLoaderimport torchvisionfrom torchvision.datasets import ImageFolderfrom torchvision im...原创 2020-02-24 23:09:04 · 352 阅读 · 0 评论 -
动手学深度学习PyTorch版-数据增强
数据增强图像增广import osos.listdir("/home/kesci/input/img2083/")%matplotlib inlineimport osimport timeimport torchfrom torch import nn, optimfrom torch.utils.data import Dataset, DataLoaderimport ...原创 2020-02-24 23:00:30 · 288 阅读 · 0 评论 -
动手学深度学习PyTorch版-文本情感分类
文本情感分类读取数据import collectionsimport osimport randomimport timefrom tqdm import tqdmimport torchfrom torch import nnimport torchtext.vocab as Vocabimport torch.utils.data as Dataimport torch....原创 2020-02-24 22:40:36 · 1297 阅读 · 2 评论 -
动手学深度学习PyTorch版-词嵌入进阶
词嵌入进阶载入与训练Glove向量import torchimport torchtext.vocab as vocabprint([key for key in vocab.pretrained_aliases.keys() if "glove" in key])cache_dir = "/home/kesci/input/GloVe6B5429"glove = vocab.Glo...原创 2020-02-24 22:35:50 · 253 阅读 · 0 评论 -
动手学深度学习PyTorch版-word2vec
word2vecPTB数据集import collectionsimport mathimport randomimport sysimport timeimport osimport numpy as npimport torchfrom torch import nnimport torch.utils.data as Datawith open('/home/kes...原创 2020-02-24 22:34:00 · 264 阅读 · 0 评论 -
动手学深度学习PyTorch版-优化算法进阶
优化算法进阶Momentum在这里插入代码片def momentum_2d(x1, x2, v1, v2): v1 = beta * v1 + eta * 0.2 * x1 v2 = beta * v2 + eta * 4 * x2 return x1 - v1, x2 - v2, v1, v2eta, beta = 0.4, 0.5d2l.show_trace_...原创 2020-02-24 22:30:02 · 278 阅读 · 0 评论 -
动手学深度学习PyTorch版-梯度下降
梯度下降%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, optimimport mathimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2l一维梯度下降def f(x): ...原创 2020-02-24 22:17:33 · 250 阅读 · 0 评论 -
动手学深度学习PyTorch版-凸优化
凸优化优化与深度学习%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfrom mpl_toolkits import mplot3d # 三维画图import numpy as npdef f(x): return x * np.cos(np.pi * x...原创 2020-02-24 22:11:26 · 258 阅读 · 0 评论 -
动手学深度学习PyTorch版-批量归一化和残差网络
批量归一化和残差网络从零实现import timeimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport torchvisionimport syssys.path.append("/home/kesci/input/") import d2lzh1981 as d2ldevice...原创 2020-02-24 22:06:38 · 165 阅读 · 0 评论 -
动手学深度学习PyTorch版-卷积神经网络进阶(AlexNet)
卷积神经网络进阶(AlexNet)#目前GPU算力资源预计17日上线,在此之前本代码只能使用CPU运行。#考虑到本代码中的模型过大,CPU训练较慢,#我们还将代码上传了一份到 https://www.kaggle.com/boyuai/boyu-d2l-modernconvolutionalnetwork#如希望提前使用gpu运行请至kaggle。import timeimpor...原创 2020-02-17 23:58:51 · 735 阅读 · 0 评论 -
动手学深度学习PyTorch版-LeNet
LeNetLeNet模型#importimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2limport torchimport torch.nn as nnimport torch.optim as optimimport time#netclass Flatten(torch.nn.M...原创 2020-02-17 23:53:07 · 196 阅读 · 0 评论 -
动手学深度学习PyTorch版-卷积神经网络基础
卷积神经网络基础import torch import torch.nn as nndef corr2d(X, K): H, W = X.shape h, w = K.shape Y = torch.zeros(H - h + 1, W - w + 1) for i in range(Y.shape[0]): for j in range(Y...原创 2020-02-17 23:49:31 · 168 阅读 · 0 评论 -
动手学深度学习PyTorch版-Transformer
Transformerimport osimport mathimport numpy as npimport torch import torch.nn as nnimport torch.nn.functional as Fimport syssys.path.append('/home/kesci/input/d2len9900')import d2ldef Sequ...原创 2020-02-17 23:46:12 · 156 阅读 · 0 评论 -
动手学深度学习PyTorch版-注意力机制与Seq2seq模型
注意力机制与Seq2seq模型import mathimport torch import torch.nn as nnimport osdef file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir):# print("root", root) # 当前目录路径 ...原创 2020-02-17 23:38:20 · 393 阅读 · 0 评论 -
动手学深度学习PyTorch版-机器翻译及相关技术
机器翻译及相关技术import osos.listdir('/home/kesci/input/')import syssys.path.append('/home/kesci/input/d2l9528/')import collectionsimport d2limport zipfilefrom d2l.data.base import Vocabimport time...原创 2020-02-17 23:31:43 · 259 阅读 · 0 评论 -
动手学深度学习PyTorch版-循环神经网络进阶
循环神经网络进阶GRU数据载入import osos.listdir('/home/kesci/input')import numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.path.append("../input/")import...原创 2020-02-17 23:20:01 · 183 阅读 · 1 评论 -
动手学深度学习PyTorch版-梯度消失、梯度爆炸、kaggle房价预测
梯度消失、梯度爆炸、kaggle房价预测kaggle房价预测%matplotlib inlineimport torchimport torch.nn as nnimport numpy as npimport pandas as pdimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lpri...原创 2020-02-17 23:12:34 · 199 阅读 · 0 评论 -
动手学深度学习PyTorch版-过拟合欠拟合及其解决方案
过拟合、欠拟合及其解决方案多项式拟合实验%matplotlib inlineimport torchimport numpy as npimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lprint(torch.__version__)初始化模型参数n_train, n_test, true...原创 2020-02-17 23:05:43 · 515 阅读 · 0 评论 -
动手学深度学习PyTorch版-循环神经网络基础
循环神经网络基础从零开始实现循环神经网络import torchimport torch.nn as nnimport timeimport mathimport syssys.path.append("/home/kesci/input")import d2l_jay9460 as d2l(corpus_indices, char_to_idx, idx_to_char, vo...原创 2020-02-14 14:38:51 · 287 阅读 · 1 评论 -
动手学深度学习PyTorch版-语言模型
语言模型语言模型数据集with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f: corpus_chars = f.read()print(len(corpus_chars))print(corpus_chars[: 40])corpus_chars = corpus_chars.repla...原创 2020-02-14 14:28:25 · 146 阅读 · 0 评论 -
动手学深度学习PyTorch版-文本预处理
文本预处理读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().low...原创 2020-02-14 14:24:59 · 180 阅读 · 0 评论 -
动手学深度学习PyTorch版-多层感知机
多层感知机从零实现多层感知机%matplotlib inlineimport torchimport numpy as npimport matplotlib.pyplot as pltimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lprint(torch.__version__)Rel...原创 2020-02-13 23:05:05 · 263 阅读 · 1 评论 -
动手学深度学习PyTorch版-softmax和分类模型
softmax和分类模型softmax回归模型的从零开始实现,实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型获取Fashion-MNIST训练集和读取数据# import needed package%matplotlib inlinefrom IPython import displayimport matplotlib.pyplot as pltimpor...原创 2020-02-13 22:25:58 · 192 阅读 · 0 评论 -
动手学深度学习PyTorch版-线性回归
线性回归从零开始实现线性回归import torchimport time# init variable a, b as 1000 dimension vectorn = 1000a = torch.ones(n)b = torch.ones(n)# define a timer class to record timeclass Timer(object): """R...原创 2020-02-13 21:15:21 · 258 阅读 · 0 评论 -
NLP TASK10 bert
学习任务Transformer的原理BERT的原理利用预训练的BERT模型将句子转换为句向量,进行文本分类1学习笔记Transformer原理Transformer原理:Attention Is All You Need:https://arxiv.org/abs/1706.03762Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型。Tran...原创 2019-05-30 20:36:22 · 513 阅读 · 0 评论 -
《统计学习方法》第六章
原创 2018-03-24 00:22:30 · 690 阅读 · 0 评论 -
《统计学习方法》第五章
原创 2018-03-11 23:28:45 · 371 阅读 · 0 评论 -
《统计学习方法》第三章
原创 2018-02-17 18:20:58 · 520 阅读 · 0 评论 -
《统计学习方法》第四章
原创 2018-02-26 20:30:54 · 225 阅读 · 0 评论 -
《统计学习方法》第二章
原创 2018-02-04 10:42:10 · 216 阅读 · 0 评论 -
《统计学习方法》第七章
原创 2018-03-24 00:24:53 · 583 阅读 · 0 评论 -
《统计学习方法》第八章
原创 2018-04-08 16:08:30 · 1041 阅读 · 0 评论 -
短文本分类小结
背景:文本分类技术汇总:因为公司需求,开始探索文本挖掘技术在通信行业方面的应用,现将过程中常用的技术和原理更新如下。文本分类方法经过长期的研究在很多场景下已经得到了应用,但是短文本分类问题起步较晚,且一直也没有什么通用的,效果良好的方法,短文本分类的重点在特征处理环节和分类算法上面。因为其存在两个问题,1、短文本提供的词语少,提供的有效信息有限。2、根据分词结果构建的词频或者特征矩阵通常十分稀疏,...原创 2018-03-27 11:42:38 · 13993 阅读 · 0 评论 -
NLP TASK7 卷积神经网络
学习内容卷积运算的定义、动机(稀疏权重、参数共享、等变表示)。一维卷积运算和二维卷积运算。池化运算的定义、种类(最大池化、平均池化等)、动机。Text-CNN的原理。利用Text-CNN模型来进行文本分类。 参考答案内容笔记卷积卷积定义:卷积是一类数学运算,通常计算方式为:s(t)=(x∗w)(t)=∑a=−∞∞x(a)w(t−a)s(t)=(x*w)(t)=\sum_{a=-\...原创 2019-05-26 00:58:43 · 234 阅读 · 0 评论