自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(323)
  • 资源 (2)
  • 论坛 (1)

原创 Python魔法方法总结及注意事项

1、何为魔法方法:  Python中,一定要区分开函数和方法的含义;  1.函数:类外部定义的,跟类没有直接关系的;形式: def func(*argv):  2.方法:class内部定义的函数(对象的方法也可以认为是属性);分为两种:    ① python自动产生的(魔法方法):一般形式为 __func__(),python会在对应的时机自动调用该函数;    ② 人为自定义的方法:一般和普通函数没有区别,只是定义在了class中而已  3.方法与函数的区别:    方...

2020-05-24 19:41:46 74

原创 机器学习之特征选择方法

《机器学习》将特征选择分为了三种方法:分别是过滤式(filter) 、包裹式(wrapper)和嵌入式(embedded)。下面依据sklearn中的特征选择文档来叙述特征选择的几个方法。过滤式(filter)这类方法先对数据机进行特征选择,然后再训练学习器,特征选择的过程与后续学习器无关。1.移除低方差的特征:通过计算样本在不同特征上取值的方差来对特征经过过滤。通过 sel = VarianceThreshold(threshold=(.8 * (1 - .8))) 设置一个阈值,2.

2020-05-12 09:49:16 171

原创 深度学习中的多任务学习-multi-learning总结

多任务学习(Multi-task learning)的两种模式深度学习中两种多任务学习模式:隐层参数的硬共享与软共享。隐层参数硬共享,指的是多个任务之间共享网络的同几层隐藏层,只不过在网络的靠近输出部分开始分叉去做不同的任务。 隐层参数软共享,不同的任务使用不同的网络,但是不同任务的网络参数,采用距离(L1,L2)等作为约束,鼓励参数相似化。Hard 参数共享共享 Hard 参数是神经网络 MTL 最常用的方法,可以追溯到 [2]。在实际应用中,通常通过在所有任务之间共享隐藏层,同时保...

2020-05-11 17:37:04 452

原创 深度学习训练时网络不收敛的原因分析总结

很多同学会发现,为什么我训练网络的时候loss一直居高不下或者准确度时高时低,震荡趋势,一会到11,一会又0.1,不收敛。 又不知如何解决,博主总结了自己训练经验和看到的一些方法。首先你要保证训练的次数够多,不要以为一百两百次就会一直loss下降或者准确率一直提高,会有一点震荡的。只要总体收敛就行。若训练次数够多(一般上千次,上万次,或者几十个epoch)没收敛,则试试下面方法:1. 数据侧:数据归一化神经网络中对数据进行归一化是不可忽略的步骤,网络能不能正常工作,还得看你有没有做归一化,一般

2020-05-09 13:05:56 707

原创 python稀疏格式储存coo_matrix/csr_matrix/csc_matrix

概述在用python进行科学运算时,常常需要把一个稀疏的np.array压缩,这时候就用到scipy库中的sparse.csr_matrix(csr:Compressed Sparse Row marix) 和sparse.csc_matric(csc:Compressed Sparse Column marix)scipy.sparse.csr_matrix# 示例解读>...

2020-05-02 19:33:42 276

原创 从FM推演各深度学习CTR预估模型(附代码)

Ref:链接FM 的tensorflow 实现class FM(Model): def __init__(self, input_dim=None, output_dim=1, factor_order=10, init_path=None, opt_algo='gd', learning_rate=1e-2, l2...

2020-04-27 14:50:07 80

原创 评估指标汇总

Ref:https://zhuanlan.zhihu.com/p/52930683

2020-04-24 10:00:25 108

原创 fasttext 与 word2vec、doc2vec 的区别

相似:图模型结构很像,都是采用embedding向量的形式,得到word的隐向量表达。 都采用很多相似的优化方法,比如使用Hierarchical softmax优化训练和预测中的打分速度。不同点:1.word2vec是一个无监督算法,而fasttext是一个有监督算法。 2.模型的输入层:word2vec的输入层是上下文单词;而fasttext 对应的...

2020-04-21 08:09:13 561

原创 一台ubuntu服务器部署多台tomcat ,并实现外网访问:

一开始部署多个tomcat ,参考https://blog.csdn.net/qq839177306/article/details/78471058,发现这篇博客写的不对,,谨慎一点说就是:至少我没有成功实现. ,按照上面链接操作可能面临的问题:(1) 启动tomcat2时,发现真实启动的是tomcat1(2) 启动tomcat2时,回报Cannot find //bin/setcl...

2020-04-14 13:24:11 29

原创 优化方法入门

Ref:https://blog.csdn.net/weixin_42398658/article/details/84502215https://blog.csdn.net/weixin_42398658/article/details/84525917SGD :参数=旧参数 - 学习率*梯度(1)改变梯度:动量SGD:(2)改变学习率:AdaGrad -->引入衰...

2020-04-14 13:23:58 135

原创 深入理解XGBoost

Ref:深入理解XGBoost本文是在原文基础上进行修补。XGBoost原理推倒:(1)目标函数:(2)第一项泰勒展开:(3)第二项-定义树的复杂度:(4)最终的目标函数:(5)一棵树的生成细节:(5.1)首先列采样,随机选出K列特征作为划分特征;(5.2)然后这K列进行并行运算,针对每列特征将数据生序排列,保存为block结构...

2020-04-14 13:23:41 291

原创 损失函数

几种常见的损失函数https://www.cnblogs.com/lliuye/p/9549881.html一. MSE: 线性回归问题log损失与交叉熵的等价性https://blog.csdn.net/google19890102/article/details/79496256二.Log loss:在二分类问题中logistic loss和交叉熵...

2020-04-14 13:23:19 116

原创 DeepFM模型调参

Ref:https://tech.meituan.com/2018/06/07/searchads-dnn.html影响神经网络的超参数非常多,神经网络调参也是一件非常重要的事情。工业界比较实用的调参方法包括:网格搜索/Grid Search:这是在机器学习模型调参时最常用到的方法,对每个超参数都敲定几个要尝试的候选值,形成一个网格,把所有超参数网格中的组合遍历一下尝试效果。简单暴力,如...

2020-04-14 13:22:33 522

原创 各种优化算法之间关系

Ref:https://www.zhihu.com/question/323747423/answer/790457991首先看一下下面的流程图,机器学习中常用的一个有梯度优化算法之间的关系:随机梯度下降SGD:随机采样一个样本,根据预测值和真实值得到损失,然后计算损失函数对参数的偏导数,来对参数进行更新动量法momentum:动量法在梯度下降法的基础上加入一个动量变量来控制...

2020-04-14 13:22:21 127

原创 决策树模型

ID3、C4.5、CART分类树算法总结: 感觉背这些无意义。IID3:缺点:ID3 没有剪枝策略,容易过拟合; 信息增益准则对可取值数目较多的特征有所偏好,类似“编号”的特征其信息增益接近于 1; 只能用于处理离散分布的特征; 没有考虑缺失值。C4.5:采取的优化措施:采用后剪枝策略,防止过拟合 引入信息增益率作为划分标准; 将连续特征离散化, 对于缺失值的处理:将...

2020-04-14 13:22:09 105

原创 聚类算法 - K-Means、二分K-Means、K-Means 、K-Means||、Canopy、Mini Batch K-Means算法

K-Means 系列:K-Means,二分K-Means,K-Means++,K-Meansll,canopy算法,MiniBatchK-Means算法。K-Means系列聚类算法原理:https://www.cnblogs.com/pinard/p/6164214.html用scikit-learn学习K-Means聚类:https://www.cnblogs.com/pinar...

2020-04-14 13:22:01 754

原创 图模型-随机游走算法

文章目录推荐基本概念 PageRank PersonalRank TextRank SimRank推荐基本概念其中用户user=[A,B,C],物品item=[a,b,c,d],用户和物品有以下的关系上述便是一个典型的二分图,我们用G(V,E)来表示,其中V为用户user和物品item组成的顶点集即[A,B,C,a,b,c,d],而E则代表每一个二元组(u,i)之间对应的...

2020-04-14 13:21:53 695

原创 XGBoost 和 LightGBM 对比

Ref:20道XGBoost面试题https://mp.weixin.qq.com/s?__biz=MzI1MzY0MzE4Mg==&mid=2247485159&idx=1&sn=d429aac8370ca5127e1e786995d4e8ec&chksm=e9d01626dea79f30043ab80652c4a859760c1ebc0d602e58e134...

2020-04-14 13:21:29 92

原创 评估指标AUC、GAUC

AUC在机器学习算法中,很多情况我们都是把auc当成最常用的一个评价指标,而auc反映整体样本间的排序能力,但是有时候auc这个指标可能并不能完全说明问题,有可能auc并不能真正反映模型的好坏。AUC反映整体样本间的排序能力,表示正样本得分比负样本得分高的概率,对样本不区分用户地计算整体样本的AUC。线下AUC提升为什么不能带来线上效果提升? https://zhuanlan.zh...

2020-04-14 13:20:58 228

原创 Dropout

1. 为什么要加Dropout?2. dropout 是在模型训练的时候进行失活,而且每轮训练失活的神经元是不固定的,随机的。3.Dropout 有哪些问题:会导致方差偏移、方差分布不一样,所以在keras 中有两个方法dropout方法 和α dropout ;α dropout 能修正方差偏移的问题4. Dropout是怎么实现的?是通过tensorfl...

2020-04-14 13:20:03 945

原创 DeepFM对FM、FNN、PNN、wide&deep模型

1. CTR预估CTR预估数据特点:1. 输入中包含类别型和连续型数据。类别型数据需要one-hot,连续型数据可以先离散化再one-hot,也可以直接保留原值2. 维度非常高3. 数据非常稀疏4. 特征按照Field分组CTR预估重点在于学习组合特征。注意,组合特征包括二阶、三阶甚至更高阶的,阶数越高越复杂,越不容易学习。Google的论文研究得出结论:高阶和低阶的组合特征都非...

2020-03-31 17:45:25 918

原创 排序模型对比

LR 可以视作单层单节点的“DNN”, 是一种宽而不深的结构,能够处理高纬度稀疏问题,。 模型优点是简单、高效、可控性好,模型可解释: 所有的特征直接作用在最后的输出结果上 但是效果的好坏直接取决于特征工程的程度,需要非常精细的连续型、离散型、时间型等特征处理及特征组合。通常通过正则化等方式控制过拟合。Ref:https://tech.meituan.com/201...

2020-03-26 14:29:58 328

原创 处理正负样本不均衡问题

在原文的基础上 Ref: https://www.zhihu.com/question/27535832/answer/223882022 进行修改。1 通过过抽样和欠抽样解决样本不均衡抽样是解决样本分布不均衡相对简单且常用的方法,包括过抽样和欠抽样两种。过抽样过抽样(也叫上采样、over-sampling)方法通过增加分类中少数类样本的数量来实现样本均衡,最直接的方法是简单复制...

2020-03-15 11:49:36 839

原创 特征工程之连续/离散特征的处理

离散特征:1.无序离散特征:one-hot encoding,比如所属国家、城市 (1)无序离散特征:one-hot encoding,比如所属国家,城市。(1)如果one-hot之后unique值不多可以不用做Embedding, (2)但是如果该特征unique值过多,比如所属国家、城市,onehot产生的矩阵过宽,这种情况下,我们的通常做法就是将其转换为embeddi...

2020-03-13 12:19:32 373

原创 常用激活函数理解与总结

从左到右 梯度消失-->zero-centered -->指数运算一、sigmoid缺点1:在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失,其中梯度爆炸发生的概率非常小,而梯度消失发生的概率比较大。首先来看Sigmoid函数的导数,如下图所示: 缺点2:Sigmoid 的 output 不是0均值(即zero-centered)。这是不可取的,因为这会导致后一层...

2020-03-11 16:50:54 753

原创 特征工程之连续/离散特征的处理

离散特征:无序离散特征:one-hot encoding,比如所属国家、城市无序离散特征:one-hot encoding,比如所属国家,城市。one-hot,比如所属国家、城市, 但是如果该特征unique值过多,onehot产生的矩阵过宽,所以通常采用下面的方法来减少维度也可以先做LabelEncoder将特征的不同取值区分开,然后再embedding有序离散特征:...

2020-03-09 17:52:36 509

原创 深入理解Batch Normalization批标准化

Ref:什么是 Batch normalizationhttps://blog.csdn.net/hffhjh111/article/details/86994445深入理解Batch Normalization批标准化https://www.cnblogs.com/guoyaohua/p/8724433.html对于BN层的理解:就是 正态分布的特征--> Dens...

2020-03-09 10:56:55 75

原创 数据正则化 (data normalization) 的原理及实现 (Python sklearn)

原理数据正规化(data normalization)是将数据的每个样本(向量)变换为单位范数的向量,各样本之间是相互独立的.其实际上,是对向量中的每个分量值除以正规化因子.常用的正规化因子有 L1, L2 和 Max.假设,对长度为 n 的向量,其正规化因子 z 的计算公式,如下所示:注意:Max 与无穷范数不同,无穷范数是需要先对向量的所有分量取绝对值,然后取其中的最大值;而...

2020-03-09 08:16:24 369

原创 过拟合的处理方法

这里仅贴出相关链接,有空时再详细补充。怎么判断欠拟合和过拟合:Ref:学习曲线——判断欠拟合还是过拟合过拟合的处理方法:从样本方面考虑:纵向上增加样本数量 横向上进行特征选择/降维 横纵都有:归一化: (1)MinMaxScaler:对列数据做(x-min)/(max-min) 变换 (2)MaxAbsScaler:对列数据做2(x-min)/(max-min...

2020-03-06 23:57:21 94

原创 全连接层的激活函数

1、全连接层当来到了全连接层之后,可以理解为一个简单的多分类神经网络(如:BP神经网络),通过softmax函数得到最终的输出。整个模型训练完毕。两层之间所有神经元都有权重连接,通常全连接层在卷积神经网络尾部。也就是跟传统的神经网络神经元的连接方式是一样的:全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化...

2020-03-06 11:11:45 4210

原创 推荐系统算法框架

在介绍矩阵分解之前,先让我们明确下推荐系统的场景以及矩阵分解的原理。对于推荐系统来说存在两大场景即评分预测(rating prediction)与Top-N推荐(item recommendation,item ranking)。评分预测场景主要用于评价网站,比如用户给自己看过的电影评多少分(MovieLens),或者用户给自己看过的书籍评价多少分。其中矩阵分解技术主要应用于该场景。 Top...

2020-03-05 09:24:15 371

原创 LFM MF SVD SVD++ FM 之间的关系

Ref:https://zhuanlan.zhihu.com/p/98058812 在原文的基础上进行补充基于行为的推荐系统算法我们称之为协同过滤,包括基于邻域、基于模型(隐语义模型LFM)和基于图的随机游走。这次我们详细说说LFM模型。我们的目标是对一个user-item的评分矩阵进行一个补充,得到未知的分数,进而进行推荐。user和item是没有直接关系的,无法直接得到二者的...

2020-03-04 15:52:32 874

原创 准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值(F-Measure)、AUC、ROC的理解

一、准确率、精确率、召回率和 F 值(1)若一个实例是正类,但是被预测成为正类,即为真正类(True Postive TP)(2)若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN)(3)若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP)(4)若一个实例是正类,但是被预测成为负类,即为假负类(False Negat...

2020-03-03 00:06:16 718

原创 最小二乘与最大似然估计之间的关系

在测量误差服从高斯分布的情况下, 最小二乘法等价于极大似然估计。Ref:最小二乘法与极大似然估计的区别与联系、最小二乘与最大似然估计之间的关系...

2020-02-22 10:26:35 118

转载 阿里云服务器ssh经常掉线的解决办法

Ref:https://blog.csdn.net/lu_embedded/article/details/78870019修改云服务器 ssh 配置文件(1)打开配置文件;# vim /etc/ssh/sshd_config(2)找到下面两行;#ClientAliveInterval 0#ClientAliveCountMax 3(3)去掉注释,并修改其值;...

2020-02-12 14:16:46 243

转载 DeepFM模型理论和实践

1、背景特征组合的挑战对于一个基于CTR预估的推荐系统,最重要的是学习到用户点击行为背后隐含的特征组合。在不同的推荐场景中,低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。之前介绍的因子分解机(Factorization Machines, FM)通过对于每一维特征的隐变量内积来提取特征组合。最终的结果也非常好。但是,虽然理论上来讲FM可以对高阶特征组合进行建模,但实际...

2020-01-19 10:53:18 198

转载 矩阵分解之:主成分分析(PCA)

本文是在参考主成分分析(PCA)原理详解的基础上 添加一些自己的理解。1.相关背景在许多领域的研究与应用中,通常需要对含有多个变量的数据进行观测,收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息,但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下,许多变量之间可能存在相关性,从而增加了问题分析的复杂性。如果分别对每个指标进行分析,分析往往是孤立...

2020-01-16 20:58:21 852

原创 矩阵分解之: 特征值分解(EVD)、奇异值分解(SVD)、SVD++

目录:1.矩阵分解 1.1 矩阵分解的产生原因 1.2矩阵分解作用 1.3矩阵分解的方法 1.4推荐学习的经典矩阵分解算法2. 特征值分解(EVD)3. 奇异值分解(SVD)4.SVD++5.SVD/SVD++在协同过滤中的应用1. 矩阵分解1.1 矩阵分解的产生原因在介绍矩阵分解之前,先让我们明确下推荐系...

2020-01-15 22:17:38 1304

转载 DeepFM升级版XDeepFM模型

本文参考自 推荐系统遇上深度学习(二十二)--DeepFM升级版XDeepFM模型强势来袭!,在学习原文的基础上加入一些个人的理解和整理。1、引言对于预测性的系统来说,特征工程起到了至关重要的作用。特征工程中,挖掘交叉特征是至关重要的。交叉特征指的是两个或多个原始特征之间的交叉组合。例如,在新闻推荐场景中,一个三阶交叉特征为AND(user_organization=msra,item_c...

2020-01-15 09:39:56 173

转载 推荐系统CTR实战——Wide & Deep

Ref:https://fuhailin.github.io/Wide-Deep/Wide and deep 模型是 TensorFlow 在 2016 年 6 月左右发布的一类用于分类和回归的模型,并应用到了 Google Play 的应用推荐中。wide and deep 模型的核心思想是结合线性模型的记忆能力(memorization)和 DNN 模型的泛化能力(generalizati...

2020-01-13 14:54:08 397

2010年山东省大学生电子设计竞赛本课组A、B题

竞赛前请仔细阅读本网站竞赛通知栏的 2010 年山东大学生高教社 XILINX 杯电子设计竞赛 规则和纪律 A题 瞬态响应测试仪 【本科组】 一、任务 要求采用指定的 FPGA 实验平台(含 EXCD-1 开

2013-01-15

智能小车报告

关于电子设计大赛的智能小车报告,报告内容详细,值得您参考

2013-01-15

人鱼线的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也
提示
确定要删除当前文章?
取消 删除