- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 图卷积神经网络
参考网址：https://www.cnblogs.com/SivilTaram/p/graph_neural_network_2.html对于如下右边一个不规则图（左边规则，右边不规则），我们也可以进行卷积操作，怎么进行卷积操作实际上就是为如何选择卷积核（下面阴影部分代表卷积核）。我们对不规则图的操作实际上是以一个结点就中心，根据它连接的节点和边进行卷积。框架如下图所示，输入的是整张图，在...
2022-08-25 10:54:16
198
原创 LSTM——tensorflow2.0学习
LSTM——tensorflow2.0import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersnum_words = 30000 #单词数量maxlen = 200 #每个句子最大的长度，在下面会把训练集的每个句子进行长切，短的补0# x_train:25000 x ...
2022-08-25 10:53:43
382
原创 李宏毅机器学习笔记4-梯度下降
李宏毅机器学习总结笔记2中第三点有梯度下降的简介。一 学习率的大小对实验的影响太小：实验所需的时间久太大：如上图左边所示，一直在左右振荡，没法到达最低点改进技巧通常越接近最低点，学习率应该变小。因为在一开始的时候，离最低点很远，所以需要大步走，走越多步，学习率要降下来去接近最低点，防止过大在两边震荡。普通的梯度下降中修改参数的方法：最新参数 = 原来参数 — (学习率 x 损失对参...
2022-08-25 10:53:21
214
原创 tensorflow学习笔记
计算图：是包含节点和边的网络。本节定义所有要使用的数据，也就是张量（tensor）对象（常量、变量和占位符），同时定义要执行的所有计算，即运算操作对象（Operation Object，简称 OP）。每个节点可以有零个或多个输入，但只有一个输出。图定义和执行的分开设计。每个会话都需要使用 close() 来明确关闭，而 with 格式可以在运行结束时隐式关闭会话。TensorFlow 还允...
2022-08-25 10:47:37
123
1
原创 Seq2Seq及注意力的结合方式
seq2seq一、seq2seq1.模型解说用于序列产生序列，比如问答、翻译，相较之前的模型优点：可以产生不定长度的文本。将输入序列的文本特征汇集到向量1处，然后由1处再来产生输出文本，以输出 <EOS>作为结束的标志。2.公式汇总：LSTM的公式二、seq2seq + attention因为seq2seq把特征汇集到中间的向量处，长度固定，有一定的限制。引入注意力机制，使得在翻译的过程中把焦点放在输入句子的某些部分，得到更好的结果。总模型实现公式汇总三、seq
2022-08-25 10:46:29
136
原创 WordPiece、BPE详解及代码
1.BPE是干什么用的？WordPiece字面理解是把word拆成piece一片一片，其实就是这个意思。WordPiece的一种主要的实现方式叫做BPE（Byte-Pair Encoding）双字节编码。“loved”,“loving”,“loves"这三个单词。其实本身的语义都是“爱”的意思，但是如果我们以单词为单位，那它们就算不一样的词，在英语中不同后缀的词非常的多，就会使得词表变的很大，训练速度变慢，训练的效果也不是太好。BPE算法通过训练，能够把上面的3个单词拆分成"lov”,“ed”,“i
2020-08-13 16:40:35
7973
原创 预训练模型综述2020年三月《Pre-trained Models for Natural Language Processing: A Survey》
论文发布时间2020年三月1.预训练模型背景1.1 预训练模型的优势1.在庞大的文本语料库上进行预训练可以学习通用的语言表示形式并帮助完成下游任务。2.预训练提供了更好的模型初始化，通常可以带来更好的泛化性能并加快目标任务的收敛速度。3.可以将预训练视为一种正则化，以避免对小数据过度拟合[42]。1.2 预训练模型的发展过程第一代PTMs旨在学习良好的单词嵌入。由于下游任务不再需要这些模型本身，因此对于计算效率而言它们通常很浅，例如Skip-Gram和GloVe。尽管这些经过预训练的嵌入可以捕
2020-08-09 16:48:34
2664
原创 《Chinese NER Using Lattice LSTM》
《Chinese NER Using Lattice LSTM》2018年ACL论文文章目录作用和动机模型训练实验结果作用和动机作用：用于中文的实体抽取动机：避免分词不同带来的实体命名错误 和 以字为输入带来的词语内字之间的信息损失。分词不同带来的实体命名不同的例子：南京市长江大桥南京市//长江大桥南京//市长//江大桥南京市//长江//大桥模型“以字输入的LSTM” 上整...
2019-12-14 23:11:53
194
原创 《Neural Architectures for Named Entity Recognition》
说明：只讲前面的biLSTM+CRF，后面的S-LSTM不讲实体抽取方式1.基于规则和词典—传统2.基于统计机器学习的方法，如CRF，HMM—传统3.深度神经网络—现在CRF简单简介假设有有一句话5个词，则这句话的可能的序列标注有如下：（名词，动词，形容词，名词，名词）（名词，动词，动词，名词，名词）…（名词，形容词，副词，动词，名词）等很多种可能。crf：用来判断上面哪种可...
2019-12-14 11:56:47
180
原创 自然语言工具包使用和对比
FOOLNLTK安装方法pip install foolnltk安装完成之后可以直接使用，是这几个里面最方便的。安装和使用教程参考：https://www.cnblogs.com/huiyichanmian/p/10844285.htmlstanford codenlp安装比较麻烦，但是顺着下面操作也没什么问题：0.需要java环境，并且jdk要求64位，版本1.8以上。1.先...
2019-11-30 20:43:50
304
原创 Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model
论文网址 ：https://arxiv.org/abs/1906.01231论文目的：看一篇文章或者新闻自动生成评价方法顺序：→ 1.使用skip gram训练词嵌入→ 2.图构建→ 3.结点编码→ 4.图编码→ 5.解码器（attention + RNN）模型如下：模型1.使用skip gram训练词嵌入略2.图构建首先使用（先成的词切分和定义实体类工具[Sta...
2019-11-06 21:47:31
898
原创 Disconnected Recurrent Neural Networks for Text Categorization
Disconnected Recurrent Neural Networks（DRNN）CNN模型擅长抽取位置不变的局部特征，但是对于一些长距离依赖的问题处理的并不好。RNN模型则更适合处理长距离依赖问题。DRNN将RNN和CNN的优点结合起来，利用RNN增加了文本的长期依赖性，利用CNN增强了对局部的检测和位置不变性。该模型的结构是将k个RNN作为CNN中的卷积核，其中k为window s...
2019-11-06 21:45:16
744
原创 Affect-LM: A Neural Language Model for Customizable Affective Text Generation
β表示情感强度，可以从0（中性，基线模型）到β=∞（生成的句子只由情感色彩的单词组成，没有语法结构）et−1e_{t-1}et−1表示从上文学到的词向量，g(et−1e_{t-1}et−1)表示属于哪种情感,例[1,0,1,1,0]ViTV{^T_i}ViT表示第i个词和g(et−1e_{t-1}et−1)的相似度，g(et−1e_{t-1}et−1) * ViTV{^T_i}ViT...
2019-11-04 15:36:13
585
原创 Graph Convolutional Networks for Text Classification
论文网址：https://arxiv.org/abs/1809.05679可供参考网址：https://blog.csdn.net/weixin_42720033/article/details/93534127文本图神经网络 （text GCN）1.构建图在GCN基础上进行的改造，主要改造在于提出将整个语料库构造成一个图。结点是语料库中的每个（document + 字典中的word ）...
2019-11-02 16:31:26
4025
1
原创 Recurrent Convolutional Neural Networks for Text Classification
1.Abstract传统：Traditional text classifiers often rely on many human-designed features, such as dictionaries, knowledge bases and special tree kernels.提出：a recurrent structure ——> capture contextu...
2019-11-01 11:34:27
532
原创 图嵌入 淘宝推荐系统
经典的Graph Embedding方法——DeepWalk根据用户的购买序列(a)构建图(b)，然后游走建立不同的序列（c）,再将序列输入到一个word2vec进行训练，就可以生成商品对应的embedding游走权重如下：MijM_{ij}Mij代表变的权重，边的权重可以根据很多用户（购买A后再购买B后的次数）来决定。因为用户顾客1先后购买了物品A和物品B，所以产生了一条由A到B的有...
2019-10-31 15:22:00
736
原创 马尔科夫 贝叶斯 傅里叶 高斯
隐马尔科夫模型（HMM）贝叶斯公式：P(A ∩ B) = P（A）* P(B|A) = P（B）* P(A|B)傅里叶变换用傅里叶变换是什么？为什么在这里要进行傅里叶变换？任何波形都可以由正弦波(信号的成分)来组成，如下图：快速傅里叶变换（FFT）：在语音识别中，将声波转化成一堆标准的正弦波，这些正弦波的系数啥的就是一堆数字，这堆数字我们就可以用来作为我们模型的输入。高斯分布...
2019-10-30 22:57:08
799
原创 语音转文字API调用（百度 谷歌 科大讯飞）
试图调百度 谷歌 科大讯飞的语音识别API进行语音转文字1.谷歌（谷歌好像需要梯子）需要下载ffmpeg.exe和ffprobe.exe下载连接https://ffmpeg.zeranoe.com/builds/MP3的音频文件不能直接用谷歌的语音识别去识别，可以看下这篇文章（https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/7...
2019-10-29 23:41:25
5531
2
原创 图神经网络(Graph Neural Network， GNN)
参考网址：https://www.cnblogs.com/SivilTaram/p/graph_neural_network_1.html论文名称《A Comprehensive Survey on Graph Neural Networks》图神经网络(Graph Neural Network， GNN)对于不规则图（规则图指的是跟图片一样的）来进行卷积（卷积之后要求的一个隐藏状态），我...
2019-10-27 21:59:00
1294
原创 用LSTM生成古诗-代码
古诗生成—用LSTM太懒了，数据集明天再传整体流程完整代码：import numpy as np#from collections import Counterfrom tensorflow import kerasimport tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltfrom tens...
2019-10-26 23:54:14
3522
2
原创 创建网络—tensorflow2.0学习
创建网络# 编码器网络和自编码器网络#keras.Input详解参考链接#https://www.w3cschool.cn/tensorflow_python/tensorflow_python-63xs2s6r.htmlencode_input = keras.Input(shape=(28,28,1), name='img')h1 = layers.Conv2D(16, 3, a...
2019-10-26 11:21:37
408
原创 模型网络的保存--tensorflow2.0学习
模型权重的保存和读取model.save_weights(’./weights/model’)model.load_weights(’./weights/model’)模型的保存和读取model.save(‘all_model.h5’)model = tf.keras.models.load_model(‘all_model.h5’)保存网络结构两种方式：#序列化成jsonimp...
2019-10-26 10:33:40
565
原创 实现一个简单的网络训练---tensorflow2.0学习
处理数据dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))dataset = dataset.shuffle(4)#打乱，越大越乱dataset = dataset.batch(32)#batch——sizedataset = dataset.repeat()#数据集重复次数，一般默认为空,其实就是epoch#...
2019-10-25 11:15:21
2904
1
原创 李宏毅机器学习笔记3-机器学习中的错误来源（bias和variance）
bias（偏差）和variance（方差）一 什么是bias和variancebias是瞄错了靶心，variance是射偏的程度。次方越多，越贴近于train data，所以bias越小，但是，由于train data中的数据间的差异更大，所以variation越大。次方越少，越适用于test data，但是就像瞄靶心一样，瞄远了，这个时候bias大，但是不贴近train data，所以...
2019-06-10 20:25:05
378
原创 李宏毅机器学习总结笔记2- regression（回归）和regularization（正则化）
regression一，regression是什么翻译：回归，输出一个数值的函数就叫regression，是机器学习的一种任务。例子1输出明天股票的升涨数值，例子2输出方向盘应该转动多少角度，例子3输出购物者可能购买某件商品的可能性。二，regressionstep1：modelmodel就是要给他拟一条函数，可以考虑多少次方和考虑多少参数参与，这就是model。step2：go...
2019-06-10 16:17:25
795
原创 李宏毅机器学习总结笔记1
课程学习内容介绍一，方案：1.监督学习（有标签）2.半监督学习比如识别猫狗，有少量猫狗有标签的照片还有很多没有标签的猫狗照片。3.无监督学习4.迁移学习（transfer learning）5.强化学习（边感知自己的行为和结果，意识这样做对不对）二，其它介绍1.regression：一个机器学习task，输出一个数值。如：预测明天的pm2.5.输出明天可能的pm2.5值。...
2019-06-04 13:44:23
554
原创 python学习1-概述
这里写自定义目录标题一 ，pip 的使用1.pip list 列出当前已经安装的所有模块2.pip install XXX[version]例如 pip install test1.0.13.pip install --upgrade xxx例如 pip install --upgrade test4.pip install -r requirements.txt 安装require...
2019-05-15 22:13:11
129
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人