- 博客(27)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 《动手学》Pytorch第二次打卡
《动手学》Pytorch第二次打卡概述LSTM与GRU1.1 GRU机器翻译注意力机制与Seq2SeqTransformer概述由于本人主要是做NLP的，学习这门课的主要目目的是学习torch，因此主要在torch实现功能上做研读，关于理论就不再详细做笔记了。如果笔记成为讲义，不如之间看jupyter。LSTM与GRU1.1 GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）...
2020-02-19 20:17:03
810
原创 NLP课程
NLP课程文本预处理语言模型n元语法文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型以下代码是读取文章的demoimport collectionsimport redef read_t...
2020-02-18 16:21:18
540
原创 《动手学》Pytorch版课程笔记——第一期
《动手学》Pytorch版课程笔记——第一期概述1.线性回归2 softmax3多层感知器概述在疫情期间宅在家中，偶然得到伯禹教育公益课程，整个课程体系非常系统地介绍了深度学习的体系，但最吸引我的还是pytorch的教学和使用，因为之前因为torch不太会，在看nlp竞赛开源方案时有点麻烦。一次开了一个小小的专题，记录一下为期14天的课程，系统巩固一下知识。整个课程的参考书籍为《动手学深度学习...
2020-02-13 09:47:44
354
原创 2020年深度学习资料总结
2020年深度学习资料总结概述基础知识NLP图算法AI落地与开发大数据概述2019悄然离去，在接下来的时间中如何规划自己，完备自己的技能是关键点，这里挖个坑，定一下2020年自己要在机器学习方面学的目标和一些资料总结。基础知识机器学习Distribution is all you need：这里有12种做ML不可不知的分布机器学习基础：相似度和距离度量究竟是什么从ReLU到GELU，...
2020-01-27 12:09:35
524
原创 CCKS2019—面向金融的事件主题识别思路分享
CCKS2019-面向金融的事件主题识别思路分享1.题目概述2.方法探索3.用bert模型进行迁移学习4.答案规则的尝试5.模型的训练和调优6.赛后总结6.1不足和遗憾6.2展望1.题目概述本次赛题的本质是nlp的阅读...
2019-08-18 09:14:23
3638
原创 用keras优雅的使用bert
用keras优雅的使用bert1.概述2.bert的文本分类3.bert做事件主体抽取1.概述如果一个比赛或者一个项目可以使用预训练模型，那么好了，bert预训练模型一定是你最好的选择。对于初入深度学习坑的朋友们直接上手tensorflow版的（fine tune）bert可能不太友好，keras会让你发现使用bert预训练模型就像搭乐高积木一样简单。本文主要介绍bert在文本分类和主体抽取中...
2019-08-10 12:04:02
9745
9
原创 优雅高效地数据挖掘：sklearn_pandas库使用说明
优雅高效地数据挖掘：sklearn_pandas库使用说明概述概述先马克一下，以后整理，推荐阅读：http://www.cbdio.com/BigData/2016-08/31/content_5227769.htmhttps://zhuanlan.zhihu.com/p/37880492...
2019-05-27 10:34:22
318
原创 华为2019算法大赛CTR预估数据探索
华为2019算法大赛CTR预估数据探索训练集时间信息siteId（媒体Id）slotId（广告位Id）netType（网络连接类型）id类信息测试集媒体id网络型号测试集与训练集分布adID训练集这个训练集有159837655个样本，负样本1.5亿，剩下的是正样本；比例约为15:1时间信息时间信息有很多杂乱值，主要是2019年三月26到31日的信息,train['operTime'] =...
2019-05-23 17:22:47
3426
7
原创 个人信贷评估模型研究
个人信贷评估模型研究数据初探和可视化分析介绍一般信息统计数据分布好贷款与坏贷款贷款类型各地区发放的贷款深入研究不良贷款商业视角了解业务的操作方面按收入类别分析评估风险了解业务的风险方面信用评分的重要性不良贷款的决定因素目的的风险数据清洗数据过滤过滤缺失值多的特征过滤重复值特征经验性过滤数据更改数据类型缺失值处理缺失值处理——分类变量缺失值处理——数值变量特征工程特征衍生特征抽象分箱特征缩放（Fea...
2019-05-09 09:30:52
3117
原创 针对传感器信号的numpy处理
针对传感器信号的numpy处理概述概述整个毕业设计以及最近在打的七月在线数据竞赛所用的数据基本都是传感器现场采集或者仿真采集，因此如果使用端到端的深度学习模型就要去整理这些数据，自然少不了pandas和numpy的使用，特别是传感器数据，如果时间采样特别多，直接放进去可能GPU吃不消，那么如何针对这些数据进行变换就要考研numpy的基本拱了，本人针对数据变化所需要的...
2019-04-29 08:54:21
438
原创 决策树与随机森林
决策树与随机森林概述从LR到决策树决策树决策树的总体流程划分选择信息增益信息增率基尼指数三者对比从决策树到随机森林项目作业感悟概述决策树、随机森林是常用的机器学习方法，其中树模型作为现在主流框架xgboost与lightgdb的基本组成，有着非常重要的地位，本人通过学习七月在线小阳老师的课程以及查阅相关资料，将学习笔记和感悟记录下来。从LR到决策树这里小阳老师举了一个非常形象的例子，是否去...
2019-04-27 15:51:16
738
原创 使用LSTM生成文本
使用LSTM生成文本概述如何生成序列数据生成文本的采样策略文本序列生成程序流程准备并解析初始文本将字符序列向量化构建神经网络模型训练语言模型并采样用模型生成文本概述我们的感知模式、语言和艺术作品都具有统计结构。学习这种结构是深度学习算法所擅长的。机器学习模型能够对图像、音乐和故事的统计潜在空间（latent space）进行学习，然后从这个空间中采样（sample），创造出与模型在训练数据中...
2019-04-17 11:38:48
7049
1
原创 keras优化模型
keras优化模型概述高级架构模式批标准化深度可分离卷积残差连接超参优化模型集成概述我们如何将模型由“具有不错的性能”上升到“性能卓越且能够赢得机器学习竞赛”？那么更好的模型设计、超参优化和模型集成将会是最好的选择。高级架构模式批标准化深度可分离卷积残差连接超参优化什么是超参数？模型应该多少层，每层应该包含都少单元和过滤器，激活函数选什么，这些就是超参数，不能通过反向传播训练。曾...
2019-04-16 20:47:06
1036
原创 keras可视化的强大工具——TensorBoard
keras可视化的强大工具——TensorBoard概述TensorBoard的主要功能使用方法概述取得进展是一个反复迭代的过程（或循环）：首先你有一个想法，并将其表述为一个实验，用于验证你的想法是否正确。你运行这个实验，并处理其生成的信息。这又激发了你的下一个想法。在这个循环中实验的迭代次数越多，你的想法也就变得越来越精确、越来越强大。这是keras之父的一段话，Keras 可以帮你在最短...
2019-04-10 20:31:10
2678
2
原创 keras回调函数的使用
keras回调函数的使用概述功能与种类ModelCheckpoint 与EarlyStopping 回调函数ReduceLROnPlateau 回调函数编写自己的回调函数概述在训练时候，我们希望在训练中有所输出和判断，而不是一直到训练结束才能实现交互，那么回调函数就是你最好的选择。本篇博文针对回调函数的功能，种类以及代码使用进行讲解功能与种类回调函数的用法例如下所示模型检查点（mode...
2019-04-10 18:15:18
3252
原创 Keras复杂网络的搭建
Keras复杂网络的搭建概述Sequential To 函数API多输入模型多输出模型有向无环Inception 模块残差连接把层作为模型概述在我们刚接触keras时候用的都是用的Sequential模型实现的，但是这种网络只能有一个输入和一个输出，如果我们要搭建多模态的网络（多输入多输出，层与层之间的跨越连接等）就要用keras函数式API了。Sequential To 函数API函数式...
2019-04-10 15:07:06
1821
原创 使用tensorflow做特定目标检测
使用tensorflow做目标检测概述概述最近博主参加一个小比赛，需要用到目标检测从而进行固定位置的人物经检查，看某位置是否有人，和行人检测不同，大部分的人是坐着的，而且被遮挡的比较多，所以用行人检测是行不通的。于是就想到用Tensorflow自带的object_detection模块进行二次开发，实现监测固定位置是否有人。首先安装环境的搭建，可以参考这篇博客,那么如果你看的制作数据集而且像只...
2019-04-10 08:45:14
1507
2
原创 关于循环神经网络做预测的几点思考
关于循环神经网络做预测的几点总结序列转监督如何预测序列转监督我们刚刚接触机器学习和深度学习时候，都是分类任务，那么分类任务和序列预测最大的区别就在于序列转监督的过程。其中牵扯3个量，一个是lookback就是依靠之前多少个点来预测，delay的量是指预测多少个点以后的量（delay=0，就是预测下一个点），还有就是预测之后的的几个点（一般选一个）。举一个例子，如果你选择的训练集的时序长的为N...
2019-04-08 08:44:57
2455
2
原创 keras可视化模型时出现 `pydot` failed to call GraphViz的解决办法
keras可视化模型时出现 `pydot` failed to call GraphViz的解决办法在windows想着要用keras对模型进行可视化，按照博客的方法安装了一下依赖，但是都不行。最后发现，其实是权限问题，那么只要用管理员身份运行pycharm就好了。...
2019-04-07 21:01:23
213
原创 Hexo初探和踩坑
Hexo初探和踩坑概述1.安装Hexo没反应2.使用Hexo2.1 hexo g 没反应2.2 hexo d 没反应概述无意间看到一个很棒的博客美化,然后就入坑了，虽然博客园自由度很高，但为了追求完美，还是选择了Hexo,下面记录一下在windows下用Hexo在github上写博客的坑1.安装Hexo没反应这时候就要换源，换阿里的源，详情参看这里.2.使用Hexo用Hexo搭建模板博...
2019-04-03 19:11:20
330
原创 keras进行时间序列预测
时间序列预测概述数据集的预处理基准方法调优增加dropout层增加网络深度概述用深度学习的方法进行端到端的时间序列预测需要一下几个步骤1.对数据进行预处理，比如数据清洗，归一化等，然后把时间序列数据转化为监督问题数据。2.进行基准方法的常识。基准方法可以选择基于常识的和基于简单机器学习的。3.模型的搭建和与结果的对比4.不断地调优模型本文选用的例子为时间序列预测，数据集从这里下载，它...
2019-04-01 16:06:16
6053
2
原创 用keras理解循环神经网络
用keras理解循环神经网络概述理解RNN理解LSTM用keras实现RNN和LSTM例子概述本博客用伪代码来代替繁杂的数学公式，让跟多人能够避开令人眼花的复杂公式，通过伪代码快速理解RNN和LSTM RNN的计算步骤。然后用通俗的话来解释其工作原理，达到对其原理和结构的理解。然后用RNN和LSTM RNN做一个简单的应用，并分析其差异和优劣。理解RNN具体的RNN背景和数学推导，大家可以...
2019-03-31 17:32:25
1213
原创 keras处理文本数据
keras处理文本数据1处理文本数据单词和字符的one-hot编码使用词嵌入利用Embedding层学习词嵌入1处理文本数据文本是一种以字符或者单词为序列数据，而如何让他让计算机读懂从而进行一系列处理是比较关键的一步。从本质上来说文字其实就是便于人这种碳基生命理解的抽象符号，而对于计算机这种硅基生命胚胎来说，或许向量才是它们最便于理解的形式，因此下面介绍如何将文本向量化。将文本分解成的单元叫...
2019-03-31 15:42:59
1775
1
原创 使用keras进行迁移学习
使用keras进行迁移学习概述提取特征法不数据增强的特征提取使用数据增强的特征提取微调模型概述针对小型数据集，如果从头训练一个网络效果并不理想，如何进一步提高呢？在上一篇博文的基础上，我们进行预训练。即用迁移学习的思想来提高分类效果。使用预训练的方法有两种：特征提取和模型微调提取特征法提取特征这法又分为两种形式，一种是用之前预训练过的网络直接提取特征然后将这些特征送入新的分类器从头开始训...
2019-03-20 09:51:08
4805
2
原创 用keras做分类的步骤总结[含代码]
用keras做分类的步骤总结概述数据集搭建自己的模型数据预处理运行代码并进行评估改进与提高数据增强正则化模型用数据增强生成器训练新模型进一步提高推荐概述如何用深度学习框架做分类，具体步骤应该是什么？应该怎么做？本文以keras（2.0版以上）为框架来具体讲解训练自己的网络来进行图片分类的步骤：1.准备好自己的数据集，并按照train，test，validation来划分2.阅读论文或者相关...
2019-03-19 16:17:39
2021
原创 基于深度学习时间序列分类研究综述[论文阅读]
时间序列分类研究简介核心论文写在前面的话原文概述摘要1引言2背景2.1时间序列分类2.2基于深度学习的时间序列分类2.3生成性或判别性方法生成模型判别模型3方法3.1为什么判别的端到端方法？3.2方法比较完全卷积神经网络残差网络编码器多尺度卷积神经网络Time Le-Net多通道深度卷积神经网络时间卷积神经网络核心论文《Deep learning for time series classif...
2019-03-15 10:22:22
22171
17
原创 基于深度学习的时间序列分类[含代码]
基于深度学习的时间序列分类引言数据集实验环境搭建实验设计实验代码实验结果引言目前，深度学习在计算机视觉和语音识别上有了非常广泛的应用，但是在工业应用方面还没有完善的体系，一方面缺乏数据集另一方缺乏优秀的顶级论文。在工业上的故障诊断领域，大多数据都来自于传感器的采集，如是西储大学轴承数据，TE化工数据集等，都是典型的时间序列，因而绝大多数问题可以抽象成时间序列分类（TSC）问题。因此本人准备从时...
2019-03-12 18:10:12
23813
33
keras_IMDB数据集
2019-03-31
时间序列数据集（UCR）
2019-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人