![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
qq_43012160
屯屯屯烫烫烫
展开
-
再谈Seq2Seq和Attention
再谈Seq2Seq和Attention之前做NLP的时候发过一篇Seq2Seq和Attention的博客,其实他Seq2Seq的代码写的是有些问题的。真正的Seq2Seq应该怎么写把我最近做交通流的一个Seq2Seq放上来,输入是[batch,timelags,feature_num]。转换到NLP里就是[batch,sentence_length,feature_num]。# 训练模型# ---层定义---x = Input(shape=(None, feature_num,))enc_L原创 2020-10-13 21:17:36 · 295 阅读 · 2 评论 -
流量预测中的数据分布问题
我们知道机器学习领域中,投入模型的数据具有一个好的数学分布(主要是高斯分布)无论是对于数据的清洗预处理还是对于模型的学习都有着非常大的作用。但是现实问题中的数据一般不是高斯分布的,所以怎样将偏态分布的数据转换为正态分布的数据就很值得研究了。今天就结合我最近遇到的一个问题讲一下log1p函数及其变形。问题最近在做流量预测的时候,整理完训练集的数据发现长这样:也可以理解,毕竟不管是网页流量...原创 2020-02-17 14:08:09 · 1287 阅读 · 0 评论 -
遗传算法、DBN、ResNet与小波神经网络
遗传算法、DBN、ResNet与小波神经网络遗传算法一般神经网络的权重调整都是通过BP来实现的,其实也可以不通过BP实现,比如通过遗传算法。比如现在有一层神经网络,他的权重是(X1,X2,X3).遗传算法即生成多个同样的网络模型,每次取效果比较好的几个,然后将他们的权重像染色体一样交叉组合。比如两个模型x11,x12,x13和x21,x22,x23被保留,后面就可以组合出x11,x12,x2...原创 2020-01-17 14:37:43 · 2548 阅读 · 0 评论 -
交通流预测:图卷积网络+seq2seq模型概述
本文将结合交通流量预测分析《Bike Flow Prediction with Multi-Graph Convolutional Networks》中的模型。参考的这篇博客:https://blog.csdn.net/zuiyishihefang/article/details/96978243图卷积网络图网络可以有效的描述交通流预测中地图的拓扑结构,特别是在有采样点参与的情况下。GNN...原创 2020-01-13 19:00:14 · 2639 阅读 · 8 评论 -
tensorflow实现简单的LSTM时序预测
数据集和代码:链接:https://pan.baidu.com/s/1hwk7rRJr_pZgKbUBWI6TNQ提取码:jwpl数据概览与任务描述:数据集是精简排序过的,我们唯一需要用到的属性就是[‘Lane 1 Flow (Veh/5 Minutes)’]。任务就是用前12个连续时刻的状态数据[St0,St1,…,St11]预测第13个时刻的状态pSt12。数据集处理我就min-...原创 2019-12-06 16:50:59 · 2318 阅读 · 2 评论 -
词向量嵌入的深入研究
最近做项目想把bert的词向量提出来用,好好研究了一下词向量的嵌入。传统词向量嵌入主要就是word2vec和keras.layers.Embedding层了,除此之外还打算讲一下bert的词向量应用:词向量嵌入的基本流程不管是用word2vec、embedding层还是bert,每个词都会被先编码为一个数字,你的数据集/batch会先被转化为一个[batch_size,seq_length]的...原创 2019-12-02 20:15:51 · 858 阅读 · 2 评论 -
交通流分析2:《基于公共交通大数据的上海市居民出行时空特征研究_王宇》和《面向交通拥堵预测大数据的神经网络群组快速学习_沈晴》阅读总结
上一篇的地址:https://blog.csdn.net/qq_43012160/article/details/103313749基于公共交通大数据的上海市居民出行时空特征研究_王宇这篇论文内容并不很多,除了数据清洗和数据分类处理之外主要是讲了聚类的问题,核密度聚类:是对于数据集中的每个点都进行计算,根据值的大小画热力图用的:剩下的东西在上一篇张红的文章里基本上都详细提过了(数据清...原创 2019-11-30 17:04:40 · 1202 阅读 · 0 评论 -
交通流分析1:《基于大数据的城市公路交通流短时预测研究_张红》阅读总结
大概读了一下,第6节小波分析那里实在没有看懂。如果有理解不对的地方欢迎批评指正。建模方法这篇论文选用的是时间序列模型和小波理论,小波理论那里我实在没看懂,说说他基于时间序列模型的组合建模方法,这是选择时间序列模型的理由:作者是将整个交通流数据分解为四个分项(即从四个角度去看待的交通流数据):周期分项、趋势分项、线性分项和非线性分项:其中周期分项就是交通流呈现出的周期性(比如每天肯定...原创 2019-11-29 17:03:13 · 3102 阅读 · 3 评论 -
seq2seq:LSTM+attention的生成式文本概要
seq2seq:LSTM+attention的生成式文本概要最近做的利用seq2seq模型的生成式文本概要,参考了这位大佬的源码:https://spaces.ac.cn/archives/5861/comment-page-1数据集准备及预处理我直接拿的新闻数据集的内容(content)和标题(title),根据内容概括标题。一般想要达到比较能看的结果的话需要10w左右的数据集,跑50...原创 2019-11-23 16:02:10 · 2398 阅读 · 4 评论 -
文本摘要概述
文本概要就是从一大段文字里提取关键信息,做概括。主要分为抽取式和生成式。抽取式extractive抽取式最常用的算法是TextRank,TextRank 算法是一种用于文本的基于图的排序算法,通过把文本分割成若干组成单元(句子),构建节点连接图,用句子之间的相似度作为边的权重,通过循环迭代计算句子的TextRank值,最后抽取排名高的句子组合成文本摘要。抽取式摘要产生的总结的基本单元(句子/短...原创 2019-11-01 15:50:57 · 585 阅读 · 0 评论 -
CCF-BDCI互联网新闻情感分析(bert-base,线上0.79)
今天来讲一讲怎么用bert做文本分类,比赛是今年的CCF-BDCIhttps://www.datafountain.cn/competitions/350第一次接触bert,比较菜,线上macro_f1得分0.79:附上代码和数据集,数据集是tsv格式,我做了一些预处理,保存在data文件夹下面,验证集是从原训练集中按0.1的比例划分出来的。测试集test是没有标签的,想跑线下可以用tra...原创 2019-10-27 16:28:23 · 3207 阅读 · 1 评论 -
学习bert过程中的思考(1)
最近参加了一个nlp的比赛,做文本情感分类的。发现传统神经网络的效果的确赶不上bert。就研究了一下bert。其实真正运行bert的操作非常简单。但因为找不到教程在最初还是走了很多弯路的。但在走弯路的同时我觉得我学到了很多之前不知道的东西,就用这篇博文记录一下。我觉得这些思考和收获让我对模型的理解和使用水平都提高了一个层次。甚至我后面跑起来bert很大程度上也要归功于这期间对模型理解的提升。这...原创 2019-10-25 08:59:59 · 576 阅读 · 0 评论 -
特征选取/停用词筛选的三种指标
特征选取/停用词筛选的三种指标方差/概率方差方差用来检验数据的分散程度,是特征选取的常用指标。但在nlp中,由于不同的词的词频有着非常大的差异,导致直接利用词的出现概率计算方差会由于基数的大小差异导致结果的偏差,比如下面这个例子:在一个二分类问题中,“的”在0(积极)和1(消极)类中的出现概率p0(的)=0.55,p1(的)=0.45,方差为0.0025,而“好极了”在0类和1类中的出现概...原创 2019-10-06 14:31:14 · 1239 阅读 · 0 评论 -
BERT模型
BERT模型上一篇写了一下transformer:https://blog.csdn.net/qq_41664845/article/details/84969266原理简述BERT 的创新点在于它将双向 Transformer 用于语言模型。Transformer的decoder 是从左到右单向的,因而是串行的(也体现在当前时间片输出对下一时间片输入的影响上),而Transformer的e...原创 2019-09-13 22:54:58 · 657 阅读 · 0 评论 -
利用Keras实现的CNN进行文本分类
利用Keras实现的CNN进行文本分类上一篇博文已经分析了CNN如何应用在文本分类中:https://blog.csdn.net/qq_43012160/article/details/96572537这一篇我们来讲一讲怎么用keras实现一个CNN并用它来文本分类。先放一张原理图:数据集和源码:链接:https://pan.baidu.com/s/1XWBOcCMvHRuZEGdk...原创 2019-07-22 22:38:30 · 2103 阅读 · 8 评论 -
CNN在文本分类中的应用
CNN在文本分类中的应用参考了:https://www.kesci.com/home/project/5d15a8fe708b90002c6c368c?tdsourcetag=s_pcqq_aiomsg和https://blog.csdn.net/u012808902/article/details/81155509援引论文《Convolutional Neural Networks for...原创 2019-07-20 14:19:46 · 1037 阅读 · 0 评论 -
kesci数据分类练习赛:提供银行精准营销解决方案(附源码)
(kesci数据分类预测)提供银行精准营销解决方案练习赛kesci的一个练习赛:https://www.kesci.com/home/competition/5c234c6626ba91002bfdfdd3/content赛题描述训练集有20000多条,测试集10000多条,16维特征,最后有两种结果分类:0(不会买银行的产品)和1(会买银行的产品):数据预处理先引入包和读入数据集(包括...原创 2019-07-29 13:44:03 · 2452 阅读 · 1 评论