![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
qq_43012160
屯屯屯烫烫烫
展开
-
tensorflow实现简单的LSTM时序预测
数据集和代码:链接:https://pan.baidu.com/s/1hwk7rRJr_pZgKbUBWI6TNQ提取码:jwpl数据概览与任务描述:数据集是精简排序过的,我们唯一需要用到的属性就是[‘Lane 1 Flow (Veh/5 Minutes)’]。任务就是用前12个连续时刻的状态数据[St0,St1,…,St11]预测第13个时刻的状态pSt12。数据集处理我就min-...原创 2019-12-06 16:50:59 · 2348 阅读 · 2 评论 -
交通流分析1:《基于大数据的城市公路交通流短时预测研究_张红》阅读总结
大概读了一下,第6节小波分析那里实在没有看懂。如果有理解不对的地方欢迎批评指正。建模方法这篇论文选用的是时间序列模型和小波理论,小波理论那里我实在没看懂,说说他基于时间序列模型的组合建模方法,这是选择时间序列模型的理由:作者是将整个交通流数据分解为四个分项(即从四个角度去看待的交通流数据):周期分项、趋势分项、线性分项和非线性分项:其中周期分项就是交通流呈现出的周期性(比如每天肯定...原创 2019-11-29 17:03:13 · 3176 阅读 · 3 评论 -
特征选取/停用词筛选的三种指标
特征选取/停用词筛选的三种指标方差/概率方差方差用来检验数据的分散程度,是特征选取的常用指标。但在nlp中,由于不同的词的词频有着非常大的差异,导致直接利用词的出现概率计算方差会由于基数的大小差异导致结果的偏差,比如下面这个例子:在一个二分类问题中,“的”在0(积极)和1(消极)类中的出现概率p0(的)=0.55,p1(的)=0.45,方差为0.0025,而“好极了”在0类和1类中的出现概...原创 2019-10-06 14:31:14 · 1265 阅读 · 0 评论 -
transformer模型
transformer模型最近想学一下BERT,在这之前就先学了一下transformer。transformer原本是用来做机器翻译的,大概的体系结构长这样:Encoder-Decoder框架这个框架主要用在机器翻译和机器问答领域,就是有两个组件Encoder和Decoder。对于给定的输入source (x1,x2,x3,…,xn), 首先编码器将其编码成一个中间表示向量z=(z1,...原创 2019-09-12 21:11:38 · 361 阅读 · 0 评论 -
结合“泰坦尼克生存预测”对数据预处理的进一步思考1
结合“泰坦尼克生存预测”对数据预处理的进一步思考1上一篇博文按自己的思路做了一下kaggle的泰坦尼克生存预测:https://blog.csdn.net/qq_43012160/article/details/99305856最近结合阿里天池上的这篇博文:https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12282042.0.0....原创 2019-08-18 15:33:12 · 250 阅读 · 0 评论 -
kaggle泰坦尼克号生存预测(附代码、数据集和答案)
kaggle泰坦尼克号生存预测(附代码、数据集和答案)之前总结的数据预处理方法:https://blog.csdn.net/qq_43012160/article/details/98462307先看一下数据集:这次需要分类的标签被存储在了训练集的Survived列里,1表示生还,0表示遇难。显然这次的特征是有缺失值的,读入数据集,看一下训练集和测试集的长度及各特征的缺失情况:#看...原创 2019-08-12 17:10:18 · 34651 阅读 · 10 评论 -
数据挖掘小结:预处理
数据挖掘实战流程受这篇博文的启发:https://blog.csdn.net/leeafay/article/details/80273529和最近做的几个实战项目的启发做了一些总结数据预处理1.对于数据集的一些预处理(合并、拆分…)2.文件编码,这点在中文文本处理上非常常见,TXT文档的编码方式一般是ANSI,但是python一般会用utf-8来处理。这点我实测过了,在打开文件的时候注...原创 2019-08-05 16:27:19 · 6128 阅读 · 0 评论 -
利用Keras实现的CNN进行文本分类
利用Keras实现的CNN进行文本分类上一篇博文已经分析了CNN如何应用在文本分类中:https://blog.csdn.net/qq_43012160/article/details/96572537这一篇我们来讲一讲怎么用keras实现一个CNN并用它来文本分类。先放一张原理图:数据集和源码:链接:https://pan.baidu.com/s/1XWBOcCMvHRuZEGdk...原创 2019-07-22 22:38:30 · 2139 阅读 · 8 评论 -
CNN在文本分类中的应用
CNN在文本分类中的应用参考了:https://www.kesci.com/home/project/5d15a8fe708b90002c6c368c?tdsourcetag=s_pcqq_aiomsg和https://blog.csdn.net/u012808902/article/details/81155509援引论文《Convolutional Neural Networks for...原创 2019-07-20 14:19:46 · 1057 阅读 · 0 评论 -
文本分类的14种算法总结
文本分类的14种算法总结之前总结了14种文本分类中的常用算法,包括8种传统算法:k临近、决策树、多层感知器、朴素贝叶斯(包括伯努利贝叶斯、高斯贝叶斯和多项式贝叶斯)、逻辑回归和支持向量机;4种集成学习算法:随机森林、AdaBoost、lightGBM和xgBoost;2种深度学习算法:前馈神经网络和LSTM。各篇链接如下:测试环境搭建与数据预处理:https://blog.csdn.net...原创 2019-07-17 19:54:11 · 33169 阅读 · 15 评论 -
kesci数据分类练习赛:提供银行精准营销解决方案(附源码)
(kesci数据分类预测)提供银行精准营销解决方案练习赛kesci的一个练习赛:https://www.kesci.com/home/competition/5c234c6626ba91002bfdfdd3/content赛题描述训练集有20000多条,测试集10000多条,16维特征,最后有两种结果分类:0(不会买银行的产品)和1(会买银行的产品):数据预处理先引入包和读入数据集(包括...原创 2019-07-29 13:44:03 · 2503 阅读 · 1 评论