- 博客(58)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 卷积神经网络发展
LeNet AlexNet ZFNet VGGNet ResNet DenseNet GoogLeNet Inceptionv3和Inception-ResNet ResNeXt Xception SENet scSE CBAM SqueezeNet MobileNet ShuffleNet GhostNet NASNet EfficientNet
2020-09-14 19:32:05
711
原创 新闻文本分类-Task5
Task05：基于深度学习的文本分类 本章主要探索两个深度学习模型在文本分类上面的原理和应用。一个是CNN模型的应用TextCNN，另一个是RNN模型的应用TextRNN。 TextCNN textCNN模型的原理图如下 每个词通过向量来表示，模型的上游可以通过word2vec等方法学习得到每个单词的词向量表示，在进行卷积操作，此时的卷积和以往的图片卷积不同，是通过n*d，d表示词向量的维度，卷积的列如果小于d，会导致卷积提取的是词内部部分信息，这样没有意义。所以通过n*d的卷积核来进行的，可以使得wor
2020-08-04 21:50:43
373
原创 新闻文本分类-Task3
Task03：基于机器学习的文本分类 本次主要基于传统的机器学习方法来进行文本分类。主要的思想是通过TFIDF来进行，TDIDF介绍的很多了，本文就不再介绍了，想了解相关原理的可以看下这篇博客 https://blog.csdn.net/hongyesuifeng/article/details/90256387 基本思想是通过TFIDF来思想来对句子的特征进行表示的。首先通过计算每个词的TFIDF值，因为这里未做基本的数据处理，可能会把停用词和标点符号也算进去，主要是跑通全流程。SVM和KNN等模型方法速
2020-07-22 15:04:41
298
原创 新闻文本分类-Task2
Task2 数据读取与分析 文件基本探索 1.train_set.csv为训练数据，总计20W条，测试集test_a.csv，总计5W条。 ll *.csv wc -l *.csv 2. 训练集合一共有14个类别，用0-13来表示具体类别。 awk -F'\t' '{print $1}' train_set.csv|sort -u 3.类别从0-13的量级依次递减，最多的类别比最低类别约42倍，是明显的多类别不平衡问题，但是相对类别不平衡问题还不算特别严重。但是需要关注少数类的分类精度和召回，比如
2020-07-21 16:51:30
324
原创 新闻文本分类-Task1
Task01：赛题理解 一、赛题数据 赛题以新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。 赛题数据由以下几个部分构成：训练集20w条样本，测试集A包括5w条样本，测试集B包括5w条样本。为了预防选手人工标注测试集的情况，我们将比赛数据的文本按照字符级别进行了匿名处理。处理后的赛题训练数据如下： label text 6 57 44 66
2020-07-20 20:35:28
310
原创 动手学深度学习PyTorch版-微调
微调 热狗识别 %matplotlib inline import torch from torch import nn, optim from torch.utils.data import Dataset, DataLoader import torchvision from torchvision.datasets import ImageFolder from torchvision im...
2020-02-24 23:09:04
445
原创 动手学深度学习PyTorch版-数据增强
数据增强 图像增广 import os os.listdir("/home/kesci/input/img2083/") %matplotlib inline import os import time import torch from torch import nn, optim from torch.utils.data import Dataset, DataLoader import ...
2020-02-24 23:00:30
380
原创 动手学深度学习PyTorch版-文本情感分类
文本情感分类 读取数据 import collections import os import random import time from tqdm import tqdm import torch from torch import nn import torchtext.vocab as Vocab import torch.utils.data as Data import torch....
2020-02-24 22:40:36
1449
2
原创 动手学深度学习PyTorch版-词嵌入进阶
词嵌入进阶 载入与训练Glove向量 import torch import torchtext.vocab as vocab print([key for key in vocab.pretrained_aliases.keys() if "glove" in key]) cache_dir = "/home/kesci/input/GloVe6B5429" glove = vocab.Glo...
2020-02-24 22:35:50
347
原创 动手学深度学习PyTorch版-word2vec
word2vec PTB数据集 import collections import math import random import sys import time import os import numpy as np import torch from torch import nn import torch.utils.data as Data with open('/home/kes...
2020-02-24 22:34:00
374
原创 动手学深度学习PyTorch版-优化算法进阶
优化算法进阶 Momentum在这里插入代码片 def momentum_2d(x1, x2, v1, v2): v1 = beta * v1 + eta * 0.2 * x1 v2 = beta * v2 + eta * 4 * x2 return x1 - v1, x2 - v2, v1, v2 eta, beta = 0.4, 0.5 d2l.show_trace_...
2020-02-24 22:30:02
393
原创 动手学深度学习PyTorch版-梯度下降
梯度下降 %matplotlib inline import numpy as np import torch import time from torch import nn, optim import math import sys sys.path.append('/home/kesci/input') import d2lzh1981 as d2l 一维梯度下降 def f(x): ...
2020-02-24 22:17:33
339
原创 动手学深度学习PyTorch版-凸优化
凸优化 优化与深度学习 %matplotlib inline import sys sys.path.append('/home/kesci/input') import d2lzh1981 as d2l from mpl_toolkits import mplot3d # 三维画图 import numpy as np def f(x): return x * np.cos(np.pi * x...
2020-02-24 22:11:26
343
原创 动手学深度学习PyTorch版-批量归一化和残差网络
批量归一化和残差网络 从零实现 import time import torch from torch import nn, optim import torch.nn.functional as F import torchvision import sys sys.path.append("/home/kesci/input/") import d2lzh1981 as d2l device...
2020-02-24 22:06:38
226
原创 动手学深度学习PyTorch版-卷积神经网络进阶（AlexNet）
卷积神经网络进阶（AlexNet） #目前GPU算力资源预计17日上线，在此之前本代码只能使用CPU运行。 #考虑到本代码中的模型过大，CPU训练较慢， #我们还将代码上传了一份到 https://www.kaggle.com/boyuai/boyu-d2l-modernconvolutionalnetwork #如希望提前使用gpu运行请至kaggle。 import time impor...
2020-02-17 23:58:51
866
原创 动手学深度学习PyTorch版-LeNet
LeNet LeNet模型 #import import sys sys.path.append("/home/kesci/input") import d2lzh1981 as d2l import torch import torch.nn as nn import torch.optim as optim import time #net class Flatten(torch.nn.M...
2020-02-17 23:53:07
269
原创 动手学深度学习PyTorch版-卷积神经网络基础
卷积神经网络基础 import torch import torch.nn as nn def corr2d(X, K): H, W = X.shape h, w = K.shape Y = torch.zeros(H - h + 1, W - w + 1) for i in range(Y.shape[0]): for j in range(Y...
2020-02-17 23:49:31
256
原创 动手学深度学习PyTorch版-Transformer
Transformer import os import math import numpy as np import torch import torch.nn as nn import torch.nn.functional as F import sys sys.path.append('/home/kesci/input/d2len9900') import d2l def Sequ...
2020-02-17 23:46:12
243
原创 动手学深度学习PyTorch版-注意力机制与Seq2seq模型
注意力机制与Seq2seq模型 import math import torch import torch.nn as nn import os def file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir): # print("root", root) # 当前目录路径 ...
2020-02-17 23:38:20
488
原创 动手学深度学习PyTorch版-机器翻译及相关技术
机器翻译及相关技术 import os os.listdir('/home/kesci/input/') import sys sys.path.append('/home/kesci/input/d2l9528/') import collections import d2l import zipfile from d2l.data.base import Vocab import time ...
2020-02-17 23:31:43
371
原创 动手学深度学习PyTorch版-循环神经网络进阶
循环神经网络进阶 GRU 数据载入 import os os.listdir('/home/kesci/input') import numpy as np import torch from torch import nn, optim import torch.nn.functional as F import sys sys.path.append("../input/") import...
2020-02-17 23:20:01
279
1
原创 动手学深度学习PyTorch版-梯度消失、梯度爆炸、kaggle房价预测
梯度消失、梯度爆炸、kaggle房价预测 kaggle房价预测 %matplotlib inline import torch import torch.nn as nn import numpy as np import pandas as pd import sys sys.path.append("/home/kesci/input") import d2lzh1981 as d2l pri...
2020-02-17 23:12:34
294
原创 动手学深度学习PyTorch版-过拟合欠拟合及其解决方案
过拟合、欠拟合及其解决方案 多项式拟合实验 %matplotlib inline import torch import numpy as np import sys sys.path.append("/home/kesci/input") import d2lzh1981 as d2l print(torch.__version__) 初始化模型参数 n_train, n_test, true...
2020-02-17 23:05:43
595
原创 动手学深度学习PyTorch版-循环神经网络基础
循环神经网络基础 从零开始实现循环神经网络 import torch import torch.nn as nn import time import math import sys sys.path.append("/home/kesci/input") import d2l_jay9460 as d2l (corpus_indices, char_to_idx, idx_to_char, vo...
2020-02-14 14:38:51
384
1
原创 动手学深度学习PyTorch版-语言模型
语言模型 语言模型数据集 with open('/home/kesci/input/jaychou_lyrics4703/jaychou_lyrics.txt') as f: corpus_chars = f.read() print(len(corpus_chars)) print(corpus_chars[: 40]) corpus_chars = corpus_chars.repla...
2020-02-14 14:28:25
220
原创 动手学深度学习PyTorch版-文本预处理
文本预处理 读入文本 import collections import re def read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().low...
2020-02-14 14:24:59
267
原创 动手学深度学习PyTorch版-多层感知机
多层感知机 从零实现多层感知机 %matplotlib inline import torch import numpy as np import matplotlib.pyplot as plt import sys sys.path.append("/home/kesci/input") import d2lzh1981 as d2l print(torch.__version__) Rel...
2020-02-13 23:05:05
396
1
原创 动手学深度学习PyTorch版-softmax和分类模型
softmax和分类模型 softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型 获取Fashion-MNIST训练集和读取数据 # import needed package %matplotlib inline from IPython import display import matplotlib.pyplot as plt impor...
2020-02-13 22:25:58
308
原创 动手学深度学习PyTorch版-线性回归
线性回归 从零开始实现线性回归 import torch import time # init variable a, b as 1000 dimension vector n = 1000 a = torch.ones(n) b = torch.ones(n) # define a timer class to record time class Timer(object): """R...
2020-02-13 21:15:21
333
原创 C++语言程序设计进阶（学堂在线）习题
C7-1 账户类 (100 满分) 题目描述 定义一个基类Account，数据成员包含string类变量userName用于保存账户主人姓名，函数成员包括默认构造函数、带参构造函数用于初始化数据成员和输出姓名的成员函PrintName()。从Account类派生出CreditAccount类，增加整型数据成员credit用于记录该用户信用额度，函数成员包括带参构造函数用于初始化数据成员和输出账户...
2019-06-16 23:24:10
2727
原创 NLP TASK10 bert
学习任务 Transformer的原理 BERT的原理 利用预训练的BERT模型将句子转换为句向量，进行文本分类1 学习笔记 Transformer原理 Transformer原理：Attention Is All You Need：https://arxiv.org/abs/1706.03762 Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型。Tran...
2019-05-30 20:36:22
605
原创 NLP TASK9 Attention原理
任务 基本的Attention原理。 HAN的原理（Hierarchical Attention Networks）。 利用Attention模型进行文本分类。 学习笔记 Attention原理 Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attentio...
2019-05-26 23:38:53
324
原创 NLP TASK8 循环和递归神经网络
学习任务 RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题（梯度问题、长期依赖问题）、BPTT算法。 双向RNN 递归神经网络 LSTM、GRU的结构、提出背景、优缺点。 针对梯度消失（LSTM等其他门控RNN）、梯度爆炸（梯度截断）的解决方案。 Memory Network（自选） Text-RNN的原理。 利用Text-RNN模型来进行文本分类。 Rec...
2019-05-26 13:17:45
533
原创 NLP TASK7 卷积神经网络
学习内容 卷积运算的定义、动机（稀疏权重、参数共享、等变表示）。一维卷积运算和二维卷积运算。 池化运算的定义、种类（最大池化、平均池化等）、动机。 Text-CNN的原理。 利用Text-CNN模型来进行文本分类。 参考答案 内容笔记 卷积 卷积定义： 卷积是一类数学运算，通常计算方式为： s(t)=(x∗w)(t)=∑a=−∞∞x(a)w(t−a)s(t)=(x*w)(t)=\sum_{a=-\...
2019-05-26 00:58:43
310
原创 NLP TASK6 神经网络基础
学习内容 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。 感知机相关；定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。 激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化） 深度学习中的正则化（参数范数惩罚：L1正则化、L2正则化；数据集增强；噪声添加；early stop；Dropout层）、正则化的介...
2019-05-22 14:44:48
1098
1
原创 NLP Task5
学习内容 朴素贝叶斯 朴素贝叶斯的原理 利用朴素贝叶斯模型进行文本分类 SVM模型 SVM的原理 利用SVM模型进行文本分类 LDA主题模型 pLSA、共轭先验分布 LDA 使用LDA生成主题特征，在之前特征的基础上加入主题特征进行文本分类 LDA数学八卦 ...
2019-05-20 21:03:22
289
原创 C++语言程序设计基础（学堂在线）习题
C2-1简单题目 (100/100 分数) 题目描述 任意给定 n 个整数，求这 n 个整数序列的和、最小值、最大值 输入描述 输入一个整数n，代表接下来输入整数个数，0 < n <= 100，接着输入n个整数，整数用int表示即可。 输出描述 输出整数序列的和、最小值、最大值。用空格隔开，占一行 样例输入 2 1 2 样例输出 3 1 2 #include<stdio.h&g...
2019-05-19 16:55:47
2035
原创 NLP TASK4 文本表示：从one-hot到word2vec
任务描述 词袋模型：离散、高维、稀疏。 分布式表示：连续、低维、稠密 word2vec词向量原理并实践，用来表示文本。 word2vec原理 词向量 向量空间模型(VSM)是一类被提出表示文本信息的方法，该模型的思想是通过一种向量化的方式对文本数据进行表示，根据该向量空间模型的思想，词向量的概念开始引入。第一种使用词向量对文本数据进行表示的方法被称为独热编码(One-hot)表示方法，该方法对文本...
2019-05-17 16:03:46
556
原创 NLP TASK3 特征选择
任务描述： TF-IDF原理以及利用其进行特征筛选 互信息的原理以及利用其进行特征筛选 TFIDF原理简介 TFIDF一类用于计算单词在文章中重要程度的方法，分为两个部分，一部分是TF表示词频（通常会进行归一化，防止文章长度影响），另一部分IDF逆文档频率，用于降低不同文档中经常出现单词的权重。 计算公式 TF=某个单词在文章出现的次数文章的总词汇TF=\frac{某个单词在文章出现的次数}{文章...
2019-05-16 10:42:00
221
中国互联网地下产业白皮书
2018-12-02
阿里双十一技术
2018-12-02
阿里技术参考图册（算法篇）
2018-12-02
阿里技术参考图册（研发）
2018-12-02
书上说下面的式子只需要单遍扫面，上面的式子需要对数据多变扫描是什么意思呀？
2016-11-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人