paddlepaddle下的NLP
<h4>paddlepaddle到NLP</h4>
<br />
内容:从线性回归,到CRF、Attention、Bert、ERNIE
jj_千寻
qq:425776024
展开
-
3.1paddlepaddle数字识别,多层感知机(MLP)、卷积神经网络(CNN)
识别黑白图片中的数字使用MNIST数据集X是输入:MNIST图片是28×28 的二维图像,为了进行计算,我们将其转化为784维向量,即X=(x0,x1,…,x783)X=\left ( x_0, x_1, \dots, x_{783} \right )X=(x0,x1,…,x783)Y是输出:分类器的输出是10类数字(0-9),即Y=(y0,y1,…,y9)Y=(y_0,y_1...原创 2019-12-11 17:45:20 · 1384 阅读 · 1 评论 -
3.0BuildStrategy、CompiledProgram并行计算
BuildStrategyfluid.BuildStrategy:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/fluid_cn/BuildStrategy_cn.html计算图的建造方法import numpy as npimport paddle.fluid as fluidimport os# 设置使用...原创 2019-12-11 16:18:05 · 317 阅读 · 0 评论 -
2.9数据-paddlepaddle数据集wmt16
英德翻译数据https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/data/dataset_cn/wmt14_cn.htmlpaddle.dataset.wmt16:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/data/dataset_cn/wmt...原创 2019-12-11 15:54:06 · 1224 阅读 · 0 评论 -
2.8数据-paddlepaddle数据集uci_housing
UCI Housing数据集该模块将从 https://archive.ics.uci.edu/ml/machine-learning-databases/housing/ 下载数据集,并将训练集和测试集解析为paddle reader creatorpaddle.dataset.uci_housing:https://www.paddlepaddle.org.cn/documentatio...原创 2019-12-11 15:38:22 · 1634 阅读 · 0 评论 -
2.7数据-paddlepaddle数据集sentiment
由NLTK提供的movie_reviews数据集可能会报错:Resource movie_reviews not found. Please use the NLTK Downloader to obtain the resource: >>> import nltk >>> nltk.download('movie_reviews') Fo...原创 2019-12-11 15:19:29 · 644 阅读 · 0 评论 -
2.6数据-paddlepaddle数据集movielens
Movielens 1-M数据集Movielens 1-M数据集是由GroupLens Research采集的6000个用户对4000个电影的的100万个评级。 该模块将从 http://files.grouplens.org/datasets/movielens/ml-1m.zip 下载Movielens 1-M数据集,并将训练集和测试集解析为paddle reader creator。p...原创 2019-12-11 15:03:26 · 300 阅读 · 0 评论 -
2.5数据-paddlepaddle数据集imikolov
imikolov的简化版数据集此模块将从 http://www.fit.vutbr.cz/~imikolov/rnnlm/ 下载数据集,并将训练集和测试集解析为paddle reader creatorpaddle.dataset.imikolov:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/data/datase...原创 2019-12-11 14:56:59 · 427 阅读 · 0 评论 -
2.4数据-paddlepaddle数据集imdb
IMDB数据集此模块将从 http://ai.stanford.edu/%7Eamaas/data/sentiment/aclImdb_v1.tar.gz 下载数据集。这个数据集包含了25000条训练用电影评论数据,25000条测试用评论数据,且这些评论带有明显情感倾向负面评论的得分小于等于4,正面评论的得分大于等于7,满分10分label:0/1paddle.dataset.im...原创 2019-12-11 12:36:39 · 705 阅读 · 0 评论 -
2.3数据-paddlepaddle数据集Conll05
语义角色标注数据集Conll05语义角色标注数据集,因为Conll05数据集不是免费公开的,所以默认下载的url是Conll05的测试集(它是公开的)它返回一个reader creator,reader中的每个样本都有九个特征包括句子序列、谓词、谓词上下文、谓词上下文标记和标记序列https://www.paddlepaddle.org.cn/documentation/docs/zh...原创 2019-12-11 12:28:50 · 652 阅读 · 0 评论 -
2.2数据-paddlepaddle数据集cifar
图像分类数据集CIFAR此模块将从 https://www.cs.toronto.edu/~kriz/cifar.html 下载数据集,并将训练集和测试集解析为paddle reader creator。cifar-10数据集由10个类别的60000张32x32彩色图像组成,每个类别6000张图像。共有5万张训练图像,1万张测试图像cifar-100数据集与cifar-10类似,只是它有1...原创 2019-12-11 12:06:29 · 640 阅读 · 0 评论 -
2.1数据-paddlepaddle数据集mnist
会一步一步剖析这个怎么使用,抛砖引玉官网API:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/data/dataset_cn/mnist_cn.htmlMNIST数据集。(手写数字图像)会自动从 http://yann.lecun.com/exdb/mnist/ 下载数据集将训练集和测试集解析为paddle re...原创 2019-12-11 11:09:24 · 877 阅读 · 0 评论 -
1.2基础-paddlepaddle线性回归
一个简单的paddlepaddle线性回归预测、模型保存、模型加载及使用的过程.全连接神经网络,fluid.layers.fc:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/layers_cn/fc_cn.html#fc平方误差,fluid.layers.square_error_cost:https://www....原创 2019-12-10 21:56:42 · 292 阅读 · 0 评论 -
1.1基础-paddlepaddle变量
两个常量a,b,可以看作一个占位,最终需要喂给这个占位数据,要做的是定义这个占位的数据类型,名称通过创建最终numpy数据,设置feed={‘a’: a1, ‘b’: b1},把a1,b1喂给了a,b两个占位fetch_list=[a, b, y]则返回这三个操作的数据回来fluid.layers.create_tensor:https://www.paddlepaddle.org.c...原创 2019-12-10 21:07:28 · 670 阅读 · 0 评论 -
1.0基础-paddlepaddle常量
一个最基本的paddlepaddle程序执行过程,对两个常量进行加法算子操作:import paddle.fluid as fluid#定义2个常量x1 = fluid.layers.fill_constant(shape=[2, 2], value=3, dtype='int64')x2 = fluid.layers.fill_constant(shape=[2, 2], value=...原创 2019-12-10 20:32:08 · 380 阅读 · 0 评论 -
0.paddlepaddle安装
假设已经知道、安装了anaconda可以给conda配置一下国内的访问地址对于国内用户无法连接到Anaconda官方源的可以按照以下命令添加清华源进行安装。conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels htt...原创 2019-12-10 20:51:57 · 398 阅读 · 0 评论