- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 神经网络反向传播的推导过程
神经网络反向传播的推导过程参考链接：https://blog.csdn.net/yexiaohhjk/article/details/84577151
2020-01-19 16:19:35
205
原创 keras的Model模型的参数说明
keras的Model模型的参数说明keras中的容易混淆的概念：epoch: 一个epoch是把所有训练样本训练一遍。batch_size:计算梯度下降时每个batch包含的样本量steps_per_epoch:一轮epoch训练包含的步数，默认=None(样本总数/batch_size)注意 ：batch_size和steps_per_epoch是等价的，当同时设置这两个...
2020-01-16 18:02:46
3115
原创 使用LSTM预测用户的质量
使用LSTM预测用户的质量使用用户的页面点击行为数据，预测用户的好坏代码：import numpy as npfrom numpy.random import seedseed(1)from tensorflow import set_random_seedset_random_seed(2)import pdbimport sysimport jsonimport nump...
2020-01-16 17:16:12
589
原创 使用LSTM预测股票数据
使用LSTM预测时间序列2背景：测试https://blog.csdn.net/a819825294/article/details/54376781 （python利用LSTM进行时间序列分析预测）中的实验原理：使用历史前50个股票样本的值，预测当前样本的值数据0.8414709850.8737363970.902553570.9278087770.9494023460.967...
2020-01-16 14:51:02
753
原创 RNN&LSTM学习笔记
深度学习-RNN&LSTM学习笔记RNN中的关键词：时序数据：有前后依赖关系的数据序列。例如：对一个包含 3 个单词的语句，那么展开的网络便是一个有 3 层神经网络，每一层代表一个单词。循环：RNN 之所以称为循环神经网路，是因为一个序列当前的输出与前面的输出有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，也就是说隐...
2020-01-16 14:43:30
646
原创 使用LSTM预测空气质量pm2.5
使用LSTM预测时间序列数据文章目录背景结论代码实验结果RNN和DNN的区别RNN和LSTM的区别背景复现 @“使用Keras进行LSTM实战” https://blog.csdn.net/u012735708/article/details/82769711 中的实验熟悉用LSTM模型训练验证将时序数据 转化为分类问题后，预测是否有效果对比SimpleRNN与LSTM模型 哪个效...
2020-01-15 12:02:53
8813
1
原创 xgboost输出模型解释
xgboost模型输出的解释【目标】掌握xgboost中，predict方法对应不同的参数，输出的含义掌握xgboost中，dump出model的树结构的含义【数据集与代码】使用经典的鸢尾花的数据来说明.，这是一个二分类的问题，判断是不是鸢尾花, 这里只取前100行的数据，并对训练集和测试集进行了切分。默认有25个样本作测试集。代码如下：iris = datasets.load_...
2020-01-14 11:19:53
7859
原创 pandas编程目录
pandas的map apply applymap的区别 https://blog.csdn.net/u010569893/article/details/103733319pandas编程01 https://blog.csdn.net/u010569893/article/details/103717051value_counts(）统计一个series中的值出现的次数将np的多维...
2020-01-13 19:30:26
134
原创 python学习目录
Python的 pymysql https://blog.csdn.net/u010569893/article/details/103924965mysql的查询语句 https://blog.csdn.net/u010569893/article/details/90201253python 动态加载类和函数的方法 https://blog.csdn.net/u010569893/arti...
2020-01-13 19:28:18
250
原创 python 动态导入模块、类、属性、方法
python 动态导入模块、类、属性、方法文章目录（1）导入模块（2）通过getattr()函数获取模块的属性|类|方法（1）导入模块__import__(model_name, fromlist= "") 中参数fromlist的作用是什么？a. 当直接导入模块时不需要fromlist参数model_ = __import__("test_binning")b. 需要导入某个模...
2020-01-10 17:37:50
1258
1
原创 python的生成器在数据库查询操作时的使用
python的生成器在数据库查询操作时的使用生成器：是一种惰性获取数据的操作，不会将数据一次性的全部读到内存中，而是在运行时才生成值，用到多少读多少，这样既节省了内存而且提高了程序的运行效率很多人会把生成器和迭代器搞混，记住 含有yield的是生成器， 生成器只能读一遍就空了， 下次读时会报错怎么获取生成器中的数据呢？最简单的方法是通过for循环来读取在读数据库时，当一次需要读取的数据较...
2020-01-10 16:15:16
600
原创 python pymysql的方法
python pymysql的方法cursor游标的作用：使得用户能够从得到的记录集中一次一行或者多行前进或者向后浏览和处理数据的能力，可以看作是记录集的指针，可以获取和处理结果中指定位置的数据。即查询的结果是一个临时文件，游标可以最这个临时文件进行for循环操作with 提供了在任何情况下，帮助用户自动关闭和注销资源的操作。conn.commit() :在进行增删改的情况下，需要用户手动提...
2020-01-10 15:12:38
269
原创 python 如何定义抽象类和抽象方法
文章目录（一）python 如何定义抽象类和抽象方法（二）python中的多态（三）类的组合（一）python 如何定义抽象类和抽象方法在python中类 通过继承metaclass = ABCmeta类来创建抽象类，抽象类是包含抽象方法的类，其中ABCmeta类（Metaclass for defining abstact baseclasses,抽象基类的元类）是所有抽象类的基类。定义了...
2020-01-10 13:00:05
7322
1
原创 python 如何定义抽象类和抽象方法
python 如何定义抽象类和抽象方法在python3中使用通过继承metaclass = ABCmeta类来创建抽象类，使用@abc.abstractmethod来定义抽象方法其中ABCmeta是所有抽象类的基类。注意：定义了抽象类的方法，在子类中必须实现该方法抽象类不能被实例化创建抽象方法前，必须先创建抽象类from abc import abstractmethodcl...
2020-01-10 11:16:00
972
1
原创 特征开发总结
文章目录（1）数据结构的选择（2）如果枚举型参数较多，可以将参数写入列表或者字典中，避免平铺，使得代码更简练（3）将代码模块化|工具化（4）挖掘特征时，要将特征有条理的分类，将每一类特征写到一个函数中，函数中可以包含子函数（5）集合的浅拷贝和深拷贝（6）用户的profile信息如何衍生特征：（7）使用numpy 和pandas进行数据的统计和转化（8）分层批量计算特征：（9）交叉验证（10）数据格...
2020-01-08 19:53:40
611
原创 python eval函数
python eval()描述 eval() 函数用来执行一个字符串表达式，并返回表达式的值。语法 eval(expression)eval()的强大：eval()是python的内置函数，作用是返回传入的字符串的表达式的结果。在特征计算中，往往会涉及到批量计算特征，例如：会使用for循环批量传入参数，然后进行变量名的拼接，使用eval函数可以批量返回变量名的表达式结果会特别方便pyth...
2020-01-07 20:29:21
369
原创 时间特征的计算
在挖掘特征时，往往要计算一个某个时间点，如：订单的创建日期等 是工作日、周末、白天、前半夜还是后半夜，那么今天就来看看如何计算这些特征from dateutil.relativedelta import relativedeltaimport datetime#判断是否是工作日、周末、白天、前半夜、后半夜等def week_weekends(): call_list = [] ...
2020-01-07 20:06:37
558
原创 python timedelta() 和relativedelta()的区别
python timedelta() 和relativedelta()的区别timedelta()函数仅支持days和weeks参数而relativedelta()函数可以支持年 、月、日、周、时、分、秒的参数import datetimefrom dateutil.relativedelta import relativedeltanow_date = datetime.dateti...
2020-01-07 19:38:48
25340
3
原创 LR什么时候要进行特征选择，什么时候不用特征选择？
LR使用gbdt的衍生特征效果如何？什么时候使用组合特征？1、LR算法对高维稀疏矩阵具有鲁棒性，因此LR的正则化参数，会将区分度较弱的特征赋一个较小的权重，另外，当特征维度较高时，大量维度特征的权重也较小，使得最终得到的模型具有较强的鲁棒性。2、但是当样本量较小，尤其是特征的维度大于样本时，LR算法会受到无关特征的干扰，使得模型过拟合。因此，当样本量较少时，需要进行特征选择因此，是否要进行特...
2020-01-02 18:26:02
1252
原创 如何将LR的预测概率值转化为分数？
如何将LR的预测概率值转化为分数？ 背景：在互联网金融中，一般用LR模型来预测一个借贷用户的好坏，但是LR模型得到的结果是逾期的概率值，如何仅仅给出预测概率值，人一般很难判断这个概率值代表的用户质量好坏，但是如果能够给出分数就比较理解了。而我们一般要把逾期概率转为分数来供公司进行决策，那么如何将逾期概率转化为用户质量的得分，例如0-100呢？ 最容易想到的是将逾期率概率值直接乘以100就得...
2020-01-02 16:57:31
2852
原创 numpy 稀疏矩阵
python 稀疏矩阵稀疏矩阵介绍稀疏矩阵是指矩阵中除了少量的非零元素，其余都是零的矩阵。稀疏矩阵一般的维度都比较大，如果直接用二维矩阵来表示的话，会造成内存溢出，或者计算缓慢的缺点。一般将稀疏矩阵进行压缩，将矩阵中的非0元素进行存储在一维向量中，并用位置偏移向量来说明非零元素的相对位置。这样既不会造成内存浪费，而且提高了计算效率。常见的，在特征工程中，进行one-hot编码时会产生稀疏矩...
2020-01-02 16:23:31
7682
1
原创 为什么树模型不需要对特征进行one-hot编码、归一化、或者woe编码等预处理呢？
为什么树模型不需要对特征进行one-hot编码、归一化、和woe编码等预处理呢？1、树模型是要寻找最佳分裂点，对于离散特征，树模型会评估每个离散值的信息增益，将信息增益最大的数值作为分裂点，因此，树模型不需要对离散特征进行事先one-hot处理，否则会使特征维度增大且稀疏，不仅会增加模型的计算量，而且会损失数据的信息量造成模型的效果不佳，以及过拟合的风险。2、对于连续型特征，树模型对尝试对连续...
2020-01-02 15:54:44
5959
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人