![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
hongyesuifeng
奋斗在路上,努力充电中。
展开
-
卷积神经网络发展
LeNetAlexNetZFNetVGGNetResNetDenseNetGoogLeNetInceptionv3和Inception-ResNetResNeXtXceptionSENetscSECBAMSqueezeNetMobileNetShuffleNetGhostNetNASNetEfficientNet原创 2020-09-14 19:32:05 · 559 阅读 · 0 评论 -
新闻文本分类-Task3
Task03:基于机器学习的文本分类本次主要基于传统的机器学习方法来进行文本分类。主要的思想是通过TFIDF来进行,TDIDF介绍的很多了,本文就不再介绍了,想了解相关原理的可以看下这篇博客https://blog.csdn.net/hongyesuifeng/article/details/90256387基本思想是通过TFIDF来思想来对句子的特征进行表示的。首先通过计算每个词的TFIDF值,因为这里未做基本的数据处理,可能会把停用词和标点符号也算进去,主要是跑通全流程。SVM和KNN等模型方法速原创 2020-07-22 15:04:41 · 234 阅读 · 0 评论 -
新闻文本分类-Task2
Task2 数据读取与分析文件基本探索1.train_set.csv为训练数据,总计20W条,测试集test_a.csv,总计5W条。ll *.csvwc -l *.csv2. 训练集合一共有14个类别,用0-13来表示具体类别。awk -F'\t' '{print $1}' train_set.csv|sort -u3.类别从0-13的量级依次递减,最多的类别比最低类别约42倍,是明显的多类别不平衡问题,但是相对类别不平衡问题还不算特别严重。但是需要关注少数类的分类精度和召回,比如原创 2020-07-21 16:51:30 · 257 阅读 · 0 评论 -
新闻文本分类-Task1
Task01:赛题理解一、赛题数据赛题以新闻数据为赛题数据,数据集报名后可见并可下载。赛题数据为新闻文本,并按照字符级别进行匿名处理。整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。赛题数据由以下几个部分构成:训练集20w条样本,测试集A包括5w条样本,测试集B包括5w条样本。为了预防选手人工标注测试集的情况,我们将比赛数据的文本按照字符级别进行了匿名处理。处理后的赛题训练数据如下:label text6 57 44 66原创 2020-07-20 20:35:28 · 241 阅读 · 0 评论 -
动手学深度学习PyTorch版-微调
微调热狗识别%matplotlib inlineimport torchfrom torch import nn, optimfrom torch.utils.data import Dataset, DataLoaderimport torchvisionfrom torchvision.datasets import ImageFolderfrom torchvision im...原创 2020-02-24 23:09:04 · 352 阅读 · 0 评论 -
动手学深度学习PyTorch版-数据增强
数据增强图像增广import osos.listdir("/home/kesci/input/img2083/")%matplotlib inlineimport osimport timeimport torchfrom torch import nn, optimfrom torch.utils.data import Dataset, DataLoaderimport ...原创 2020-02-24 23:00:30 · 288 阅读 · 0 评论 -
动手学深度学习PyTorch版-文本情感分类
文本情感分类读取数据import collectionsimport osimport randomimport timefrom tqdm import tqdmimport torchfrom torch import nnimport torchtext.vocab as Vocabimport torch.utils.data as Dataimport torch....原创 2020-02-24 22:40:36 · 1297 阅读 · 2 评论 -
动手学深度学习PyTorch版-词嵌入进阶
词嵌入进阶载入与训练Glove向量import torchimport torchtext.vocab as vocabprint([key for key in vocab.pretrained_aliases.keys() if "glove" in key])cache_dir = "/home/kesci/input/GloVe6B5429"glove = vocab.Glo...原创 2020-02-24 22:35:50 · 253 阅读 · 0 评论 -
动手学深度学习PyTorch版-word2vec
word2vecPTB数据集import collectionsimport mathimport randomimport sysimport timeimport osimport numpy as npimport torchfrom torch import nnimport torch.utils.data as Datawith open('/home/kes...原创 2020-02-24 22:34:00 · 264 阅读 · 0 评论 -
动手学深度学习PyTorch版-优化算法进阶
优化算法进阶Momentum在这里插入代码片def momentum_2d(x1, x2, v1, v2): v1 = beta * v1 + eta * 0.2 * x1 v2 = beta * v2 + eta * 4 * x2 return x1 - v1, x2 - v2, v1, v2eta, beta = 0.4, 0.5d2l.show_trace_...原创 2020-02-24 22:30:02 · 278 阅读 · 0 评论 -
动手学深度学习PyTorch版-梯度下降
梯度下降%matplotlib inlineimport numpy as npimport torchimport timefrom torch import nn, optimimport mathimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2l一维梯度下降def f(x): ...原创 2020-02-24 22:17:33 · 250 阅读 · 0 评论 -
动手学深度学习PyTorch版-凸优化
凸优化优化与深度学习%matplotlib inlineimport syssys.path.append('/home/kesci/input')import d2lzh1981 as d2lfrom mpl_toolkits import mplot3d # 三维画图import numpy as npdef f(x): return x * np.cos(np.pi * x...原创 2020-02-24 22:11:26 · 258 阅读 · 0 评论 -
动手学深度学习PyTorch版-批量归一化和残差网络
批量归一化和残差网络从零实现import timeimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport torchvisionimport syssys.path.append("/home/kesci/input/") import d2lzh1981 as d2ldevice...原创 2020-02-24 22:06:38 · 165 阅读 · 0 评论 -
动手学深度学习PyTorch版-卷积神经网络进阶(AlexNet)
卷积神经网络进阶(AlexNet)#目前GPU算力资源预计17日上线,在此之前本代码只能使用CPU运行。#考虑到本代码中的模型过大,CPU训练较慢,#我们还将代码上传了一份到 https://www.kaggle.com/boyuai/boyu-d2l-modernconvolutionalnetwork#如希望提前使用gpu运行请至kaggle。import timeimpor...原创 2020-02-17 23:58:51 · 735 阅读 · 0 评论 -
动手学深度学习PyTorch版-LeNet
LeNetLeNet模型#importimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2limport torchimport torch.nn as nnimport torch.optim as optimimport time#netclass Flatten(torch.nn.M...原创 2020-02-17 23:53:07 · 196 阅读 · 0 评论 -
动手学深度学习PyTorch版-卷积神经网络基础
卷积神经网络基础import torch import torch.nn as nndef corr2d(X, K): H, W = X.shape h, w = K.shape Y = torch.zeros(H - h + 1, W - w + 1) for i in range(Y.shape[0]): for j in range(Y...原创 2020-02-17 23:49:31 · 168 阅读 · 0 评论 -
动手学深度学习PyTorch版-Transformer
Transformerimport osimport mathimport numpy as npimport torch import torch.nn as nnimport torch.nn.functional as Fimport syssys.path.append('/home/kesci/input/d2len9900')import d2ldef Sequ...原创 2020-02-17 23:46:12 · 156 阅读 · 0 评论 -
动手学深度学习PyTorch版-注意力机制与Seq2seq模型
注意力机制与Seq2seq模型import mathimport torch import torch.nn as nnimport osdef file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir):# print("root", root) # 当前目录路径 ...原创 2020-02-17 23:38:20 · 393 阅读 · 0 评论 -
动手学深度学习PyTorch版-机器翻译及相关技术
机器翻译及相关技术import osos.listdir('/home/kesci/input/')import syssys.path.append('/home/kesci/input/d2l9528/')import collectionsimport d2limport zipfilefrom d2l.data.base import Vocabimport time...原创 2020-02-17 23:31:43 · 259 阅读 · 0 评论 -
动手学深度学习PyTorch版-循环神经网络进阶
循环神经网络进阶GRU数据载入import osos.listdir('/home/kesci/input')import numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.path.append("../input/")import...原创 2020-02-17 23:20:01 · 183 阅读 · 1 评论 -
动手学深度学习PyTorch版-梯度消失、梯度爆炸、kaggle房价预测
梯度消失、梯度爆炸、kaggle房价预测kaggle房价预测%matplotlib inlineimport torchimport torch.nn as nnimport numpy as npimport pandas as pdimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lpri...原创 2020-02-17 23:12:34 · 199 阅读 · 0 评论 -
动手学深度学习PyTorch版-过拟合欠拟合及其解决方案
过拟合、欠拟合及其解决方案多项式拟合实验%matplotlib inlineimport torchimport numpy as npimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lprint(torch.__version__)初始化模型参数n_train, n_test, true...原创 2020-02-17 23:05:43 · 515 阅读 · 0 评论 -
动手学深度学习PyTorch版-循环神经网络基础
循环神经网络基础从零开始实现循环神经网络import torchimport torch.nn as nnimport timeimport mathimport syssys.path.append("/home/kesci/input")import d2l_jay9460 as d2l(corpus_indices, char_to_idx, idx_to_char, vo...原创 2020-02-14 14:38:51 · 287 阅读 · 1 评论 -
动手学深度学习PyTorch版-语言模型
语言模型语言模型数据集with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f: corpus_chars = f.read()print(len(corpus_chars))print(corpus_chars[: 40])corpus_chars = corpus_chars.repla...原创 2020-02-14 14:28:25 · 146 阅读 · 0 评论 -
动手学深度学习PyTorch版-文本预处理
文本预处理读入文本import collectionsimport redef read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().low...原创 2020-02-14 14:24:59 · 180 阅读 · 0 评论 -
动手学深度学习PyTorch版-多层感知机
多层感知机从零实现多层感知机%matplotlib inlineimport torchimport numpy as npimport matplotlib.pyplot as pltimport syssys.path.append("/home/kesci/input")import d2lzh1981 as d2lprint(torch.__version__)Rel...原创 2020-02-13 23:05:05 · 263 阅读 · 1 评论 -
动手学深度学习PyTorch版-softmax和分类模型
softmax和分类模型softmax回归模型的从零开始实现,实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型获取Fashion-MNIST训练集和读取数据# import needed package%matplotlib inlinefrom IPython import displayimport matplotlib.pyplot as pltimpor...原创 2020-02-13 22:25:58 · 192 阅读 · 0 评论 -
动手学深度学习PyTorch版-线性回归
线性回归从零开始实现线性回归import torchimport time# init variable a, b as 1000 dimension vectorn = 1000a = torch.ones(n)b = torch.ones(n)# define a timer class to record timeclass Timer(object): """R...原创 2020-02-13 21:15:21 · 258 阅读 · 0 评论 -
cs224n自然语言处理与深度学习笔记 week1
前言本次笔记主要针对斯坦福大学CS224N的自然语言处理与深度学习课程所做笔记,将学习过程中的一些重难点进行记录,方便后续复习什么是自然语言处理自然语言处理是计算机科学,人工智能和语言学的集合,该技术的目的是为了使计算机能够理解语言.自然语言处理的一些应用拼写检查,关键词查询,语法检查,文本分类,对话系统…什么是深度学习深度学习是机器学习的一个分之,和传统方法的区别主要在于其端到端的...原创 2018-12-03 15:12:53 · 184 阅读 · 0 评论 -
短文本分类小结
背景:文本分类技术汇总:因为公司需求,开始探索文本挖掘技术在通信行业方面的应用,现将过程中常用的技术和原理更新如下。文本分类方法经过长期的研究在很多场景下已经得到了应用,但是短文本分类问题起步较晚,且一直也没有什么通用的,效果良好的方法,短文本分类的重点在特征处理环节和分类算法上面。因为其存在两个问题,1、短文本提供的词语少,提供的有效信息有限。2、根据分词结果构建的词频或者特征矩阵通常十分稀疏,...原创 2018-03-27 11:42:38 · 13993 阅读 · 0 评论 -
《统计学习方法》第八章
原创 2018-04-08 16:08:30 · 1041 阅读 · 0 评论 -
《统计学习方法》第七章
原创 2018-03-24 00:24:53 · 583 阅读 · 0 评论 -
《统计学习方法》第六章
原创 2018-03-24 00:22:30 · 690 阅读 · 0 评论 -
《统计学习方法》第五章
原创 2018-03-11 23:28:45 · 371 阅读 · 0 评论 -
《统计学习方法》第三章
原创 2018-02-17 18:20:58 · 520 阅读 · 0 评论 -
《统计学习方法》第四章
原创 2018-02-26 20:30:54 · 225 阅读 · 0 评论 -
统计学习方法学习笔记
这个放假决定重新把统计学习方法看一遍,从今天开始更新学习的过程中的笔记和思考。笔记过程主要根据章节的形式进行更新记录,列出主要的知识点和一些自己的推导过程和思考等等。主要知识点展开就不再写明啦,如果有需要的朋友可以自己去《统计学习方法》的书上进行学习~中间过程如果有错误的,也请朋友们批评指正,感谢!...原创 2018-01-22 11:18:20 · 678 阅读 · 0 评论 -
cs224n自然语言处理与深度学习笔记 week2
Word Vector本次笔记主要记录述词向量相关的原理和内容如何表示单词含义词义进行表示离散表示,Onehot基于单词上下文的分布式表示将单词表示为向量形式Word2vec 的主要思想两个方法:Skip-gram和CBOWSkip-gram:根据中心词,预测上下文CBOW:根据上下文预测中心词两种相对效率的训练方法:霍夫曼树,负采样法训练中同时更新迭代所有向量,...原创 2018-12-23 18:36:17 · 208 阅读 · 0 评论 -
cs224n自然语言处理与深度学习笔记 week3
Word Window分类与神经网络分类问题给定训练集{Xi,Yi}N传统的机器学习方法是通过一些算法找到相应的决策边界来对数据进行分类。softmax分类函数对权值矩阵的某行乘以输入的向量,在除以分母的所有求和得到概率softmax与交叉熵训练的时候,最小化正确分类的负Log,就是对上面的softmax取负log则实际中该损失函数等价于交叉熵常规机器学习优化常规机器学习中参...原创 2018-12-29 14:17:25 · 182 阅读 · 1 评论 -
NLP TASK2 特征提取
数据集:THUCNews(中)、IMDB数据集(英)任务描述:基本文本处理技能,中英文字符串处理,分词,词、字符频率统计。语言模型:unigram、bigram、trigram频率统计。英文数据处理过程详述:英文库主要使用到nltk库,和其他的一些数据处理库。#import necessary modulesimport re, string, unicodedataimport nl...原创 2019-05-14 21:34:11 · 244 阅读 · 0 评论