- 博客(25)
- 收藏
- 关注
RSS订阅原创 基于tensorflow2.x版本python代码实现深度学习回归预测（以lstm为例）
基于tensorflow2.x版本python代码实现深度学习回归预测（以lstm为例）代码实现（能直接跑通本文中的代码）import osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom general import *#import tensorflow as tf#from tensorflow import kerasfrom keras.models import Sequ
2021-04-28 18:07:50
1513
原创 基于tensorflow2.x版本python代码实现深度学习分类预测（以lstm为例）
基于tensorflow2.x版本python代码实现深度学习分类预测（以lstm为例）1 代码实现（能直接跑通本文中的代码）tensorflow2.x版本、python3.x版本;代码中训练数据已自动生成，能直接跑通本文中的代码。2 代码思路解析1 代码实现from keras.models import Sequentialfrom keras.layers import *from general import *import osimport numpy as npimpor
2021-04-28 18:01:12
2279
5
原创 两台或多台服务器之间免密登录设置
两台或多台服务器之间免密登录设置目的：有两台（或多台）同局域网的服务器A:10.91.125.22，B:10.91.125.20。让A,B这两台服务器之间能两两互相免密登录，并且每台服务器都可以自我免密登录（自我免密登录即：ssh localhost 时不需要密码）。整体思路：1 让服务器A实现免密登录服务器B和免密登录自己1.1让服务器A实现免密登录服务器B1.2让服务器A实现自我登录（即，在服务器A上：ssh localhost 时不需要密码）2 让服务器B实现免密登录服务器A和免密登录自
2021-03-25 19:57:53
1945
原创 Xgboost算法详解
目录：一、xgboost算法整体思路二、本质区别三、结构分的推导四、增益公式五、其他相关问题一、xgboost算法整体思路xgboost算法是属于boosting框架的算法。所以xgboost的整体思路满足boosting框架整体思路：–>初始化f0(xi)–>拟合残差树h1(xi)(通过不同的分裂准则，即不同的增益，这也是各个boosting算法的最大的区别，也是本...
2020-02-25 23:06:57
14819
原创 LightGBM算法详解
【目录】1 LightGBM算法整体思路2 本质区别：每轮迭代拟合残差树时增益公式(即分裂准则)推导3 拟合该轮残差树前，用GOSS算法筛选样本4 拟合该轮残差树前，用EFB算法减少特征量<1> 如何发现互斥特征对；<2> 如何把互斥特征对捆绑。5 残差树的拟合过程<1>每个节点分裂前做出该节点各个特征的直方图<2>通过直方图，把相应的取值带入增益公式，计算出各个特征以每种不同取值范围划分的增益。按leaf-wise的思路找出所有叶节点中增益最大的分割点为最优分割点，将该最优分割点对应的
2019-08-10 20:13:36
10566
9
原创 机器学习/深度学习/数据挖掘其实可以很简单--把复杂的问题讲简单
机器学习其实可以很简单，把问题理解透了，用简单的方式把复杂问题讲简单。算法总结1 【为什么归一化能提高梯度下降法求最优解的速度？】：https://blog.csdn.net/weixin_40363423/article/details/972393362 【为什么拟合残差能够减少损失？(或者为什么要对弱模型拟合残差得到残差树然后与弱模型线性相加得到较强模型？)】：https://blog...
2019-08-09 10:19:59
464
原创 均值、方差、偏差、标准差、协方差等数学概念专题讲解
标准差标准差的意义：各个样本点到均值的距离的平均。描述的是样本点的”散布度”。方差方差的意义：标准差的平方之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体标准差，即统计上所谓的“无偏估计”。协方差协方差的意义：标准差和方差一般都是描述一维数组的，但现实生活中我们常常遇到含有二维甚至多维的数据集。协方差就是度量两个特征的关系。如果协方差的值为正，表...
2019-08-08 17:32:55
1433
原创 GBDT哪些部分可以并行
GBDT的整体是串行运行的，但在每一轮迭代时，以下是可以并行计算的：1 计算(更新)每个样本的负梯度。(第m-1轮迭代完毕时，第m轮的每个样本的负梯度就可以全部更新出来了)2 在拟合残差树时某个节点分类时，求各种可能的分类情况时的增益(基尼系数)是可以并行计算的。(GBDT没有做，xgboost做到了，用一个block结构存储这些特征增益)。但对于拟合一整棵残差树，增益是无法并行计算的，下一个...
2019-08-08 17:27:57
2428
1
原创 GBDT如何做正则化?
1 CART树的剪枝2 设置步长η, 。参数：Shrinkage–>(0, 1]即在每一轮迭代获取最终学习器的时候按照一定的步长进行更新。其中0<η≤1是步长，对于同样的训练集学习效果，较小的η意味着需要更多的迭代次数；通常用步长和迭代最大次数一起来决定算法的拟合效果。参数：Shrinkage注：步长如何设置才能防止过拟合？因为较小的η意味着需要更多的迭代次数，防止过拟合就要稍...
2019-08-08 17:26:26
1583
2
原创 随机梯度下降(SGD)，批量梯度下降(BGD)
损失函数图如下(不是严格的凸函数)：批量梯度下降：每次迭代更新参数取全部的训练数据，对于每轮迭代每一个参数的更新也取全部数据。随机梯度下降：每次迭代不取全量数据，对于每轮迭代每个参数的更新只取一个样本进行更新。批量梯度下降有两个不足：1 训练速度慢，因为每次迭代更新参数都要遍历一遍数据的梯度，这是很费时的。2 不一定能走到全局最优点，有可能落在局部最优点就卡住了，停止迭代。随机梯度下降解...
2019-08-04 11:55:35
333
原创 精确率、召回率、F1值、roc、auc
精确率、召回率、F1值（1）精确率（命中率）（precision）：模型预测为正类的样本中预测正确的数量/模型预测为正类的样本数量；（追求查准）（2）召回率（覆盖率）（recall）：模型预测为正类的样本中预测正确的数量/测试集中正例的数据。（追求查全）精准率、查准率： P = TP/ (TP+FP)召回率、查全率： R = TP/ (TP+FN)，这个要和假阳率做对比**（1）（2）说...
2019-08-04 11:52:15
503
原创 word2vec原理
前言：word2vec，一个很简单的算法，被网上的一些博客说的天花乱坠、不伦不类，太复杂了…，很不利于初学者入门。基于此，写一个简单yi’dong易懂的word2vec算法原理与大家分享。希望可以帮助到看到这篇博客的你。目录：1 模型输入与输出2 传统的word2vec原理3 改进的word2vec–引入哈夫曼树1 模型输入与输出通过投影层之后，最终的输入是一个向量。输出是要预测的第i...
2019-07-29 16:26:04
582
3
原创 决策树处理缺失值的原理
1 采用抛弃缺失值抛弃极少量的缺失值的样本对决策树的创建影响不是太大。但是如果属性缺失值较多或是关键属性值缺失,创建的决策树将是不完全的,同时可能给用户造成知识上的大量错误信息,所以抛弃缺失值一般不采用。只有在数据库具有极少量的缺失值同时缺失值不是关键的属性值时,且为了加快创建决策树的速度,才采用抛弃属性缺失值的方式创建决策树。2 补充缺失值缺失值较少时按照我们上面的补充规则是可行的。但如果...
2019-07-25 10:18:48
5404
原创 为什么拟合残差能够减少损失？(或者为什么要对弱模型拟合残差得到残差树然后与弱模型线性相加得到较强模型？)
整体思路：比较两者的损失大小弱模型表示为：；拟合后的残差树：；所以强模型的损失函数：弱模型的损失函数：其中，因为残差树的值与值很接近，所以比ri更接近0，即：。...
2019-07-25 10:14:39
812
1
原创 为什么归一化能提高梯度下降法求最优解的速度？
整体思路：<1> 损失函数公式–>参数更新公式表达；<2> 参数、损失函数等高线图由来与解释；<3> “合力”下山的过程图。<1> 损失函数公式–>参数更新公式表达假设目标函数，，，其中x1,x2表示的是每条样本的两个维度，这个模型有两维特征。其中真实值为yi。所以，损失函数为：，即。因为目的是最小化损失函数，所以可以去除常数...
2019-07-25 10:04:10
1192
原创 用LSTM做文本情感分类(以英文为例)附github代码
一 获得规整的数据集1 原始数据预处理：去除标点符号 、去停用词、大小写转换等获得处理后的m条评价记录,reviews=[“is good”, “very happy”, “yes i think so”,…]2 获取索引集(这个过程和W2V的联系？)：方法一：网上下载别人训练好适合该场景的领域权威索引集。方法二：自己制作<1>得到全部单词words，例如words=[i...
2019-05-10 23:04:06
6265
13
原创 循环神经网络--传统RNN、LSTM循序渐进的通俗易懂解释
https://pan.wps.cn/l/sKeQ9Acce?f=101[文件] RNN(循环神经网络)_个人总结版.docx
2019-05-07 17:21:40
1963
原创 类似用户画像预测的特征工程技巧总结
一 情景给定一批原始训练数据，这些数据有各个用户(user_id)多条历史记录。根据这些原始训练数据预测当中的部分或全部的用户(user_id)的可能行为。例如识别羊毛党项目：http://www.dcjingsai.com/common/cmpt/2018年甜橙金融杯大数据建模大赛_赛体与数据.html二 类似问题的特征工程技巧总结单特征处理(统计单特征)1 对于离散特征单特征处理时，引...
2019-05-04 12:41:37
871
原创 推荐系统算法之协同过滤方法专题
一 协同过滤的概念协同过滤方法是推荐系统的其中一种，也是目前比较主流的一种推荐系统方法。核心思想：二 协同过滤的各种算法基于用户的协同过滤基于商品的协同过滤基于模型的协同过滤，其中，基于模型的协同过滤重点介绍基于关联规则的协同过滤、基于分类\回归的协同过滤、基于聚类的协同过滤。三 各个协同过滤算法的详细解析3.1 基于用户的协同过滤3.2 基于模型的协同过滤3.3 基于模型的协...
2019-04-22 22:04:03
1351
原创 华为面试状态码解密手把手教学
步骤1 登录华为校园招聘官网步骤2 登陆， 点击红色箭头处进入官网，将网址：http://career.huawei.com/reccampportal/services/portal/portaluser/queryMyJobInterviewEvolve复制到如下红色箭头处步骤3 看到如下信息，复制引号部分，如图红色框住部分步骤4 打开网址：http://7d.beer/，将上一步...
2019-04-21 09:09:04
28098
8
原创 阿里妈妈广告点击转化率(CTR)预估项目(附github代码）
赛题与数据：https://tianchi.aliyun.com/competition/entrance/231647/introduction?spm=5176.12281957.1004.3.38b04c2a4b5hzg实现的目的：通过以往的广告点击相关的信息(用户（user）、广告商品（ad）、检索词（query）、上下文内容（context）、商店（shop）等信息)条件下，预测新的...
2019-04-13 17:42:19
1551
1
原创 kaggle数据竞赛之ELO客户忠诚度预测特征工程思路、特征选择与比赛心得总结
kaggle数据竞赛之ELO客户忠诚度预测特征工程思路、特征选择与比赛心得总结特征思路：对所有card_id进行统计，然后合并到train,test 类比橙桔比赛&lt;1&gt;统计特征连续型的特征：整体–局部思想离散型的特征：(1)组合其他连续型特征 *(2)给离散型特征定义广义标签&lt;2&gt;时间特征时间差特征周几等特征 (类比资金流入流出预测)&lt;3&gt...
2019-01-26 21:05:45
1802
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人