- 博客(11)
- 收藏
- 关注
RSS订阅原创 离散类别特征编码方式总结
类别特征无法直接使用，需要编码后才能进行相关计算分析数值编码直接将类别A,B,C …映射到1,2,3…,适用于存在大小内在关系的类别特征，编码后类别间的距离(范数)不同，对于一般的学习器不具有使用普遍性。热独编码(OneHot Encoding)将类别A,B,C 映射到(1,0,0),(0,1,0),(0,0,1)(1,0,0),(0,1,0),(0,0,1)(1,0,0),(0,1,0)...
2019-03-07 21:16:09
1890
原创 XGBOOST公式推导及细节算法
Extreme Gradient Boostingobjective function(目标函数):Obj(θ)=L(θ)+Ω(θ) Obj(\theta)=L(\theta)+\Omega(\theta)Obj(θ)=L(θ)+Ω(θ)目标函数等于损失函数加模型正则项，两者代表bias-variance tradeoff.损失函数在不同问题下可取不同形式，MSE，logloss基础学习器...
2019-01-28 11:46:39
437
原创 优化方法简单总结
优化方法简单总结梯度下降法：延梯度方向更新参数，此时目标函数变化最大。收敛阶O(1t)O(\frac{1}{t})O(t1)，收敛速度越来越慢牛顿法：用来解方程的根，将原极值问题转化为l′(θ)=0l'(\theta)=0l′(θ)=0迭代格式θ′=θ−l′(θ)l′′(θ)\theta '=\theta-\frac{l'(\th...
2018-12-20 11:33:14
186
原创 ROC曲线
曲线说明横轴FPR=FPN=FPFP+TNFPR = \frac{FP}{N}=\frac{FP}{FP+TN}FPR=NFP=FP+TNFP纵轴TPR=TPP=TPTP+FNTPR=\frac{TP}{P}=\frac{TP}{TP+FN}TPR=PTP=TP+FNTPFPR反应模型把负例预测为正例的能力TPR反应模型把正例预测为负例的能力ROC曲线越接近左上角，分类器越好，意...
2018-12-17 14:44:03
267
原创 信用卡评分卡模型学习笔记
信用卡评分卡模型原理将变量WOE编码后跑逻辑回归WOE(weight of Evidence)woei=ln(Py1Py0)=ln(Bi/BTGi/GT)woe_i=ln(\frac{P_{y_1}}{P_{y_0}}) =ln(\frac{B_i/B_T}{G_i/G_T}) woei=ln(Py0Py1)=ln(Gi/GTBi/BT)Py1为当前划分特征段下正样本...
2018-11-12 11:55:59
592
原创 Leetcode总结
1.两数之和hash表，key存差值，value存下表复杂度O(n) def twoSum(self, nums, target): """ :type nums: List[int] :type target: int :rtype: List[int] """ dic={} ..
2018-10-25 21:58:00
136
原创 逻辑回归Logistic Regression
逻辑斯谛分布分布函数F(x)=P(X≤x)=11+e−(x−μ)/γF(x)=P(X\leq x)=\frac{1}{1+e^{-(x-\mu)/\gamma}}F(x)=P(X≤x)=1+e−(x−μ)/γ1累积密度函数f(x)=F′(x)=f(x)=F'(x)=f(x)=F′(x)=回归模型假设数据服从伯努利分布P(Y=1∣x)=exp(ωx+b)1+exp(ωx...
2018-10-18 11:57:56
139
原创 SVM整理
支持向量机Support Vector Machine数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y1),(x2,y2),...,(xN,yN)}其中xi∈Rn,yi=±1其中x_i\in R^n,y_i=\pm 1其中xi∈Rn,yi=±1SVM通过找最大间隔...
2018-10-17 23:05:14
128
原创 随手总结
求平方根method1 二分法method2 牛顿迭代法(根据泰勒一阶展开推导）xn+1=xn−f′(xn)f(xn)x_{n+1}=x_n-\frac{f'(x_n)}{f(x_n)}xn+1=xn−f(xn)f′(xn)其中f(xn)=x2−nf(x_n)=x^2-nf(xn)=x2−n...
2018-10-14 17:56:06
162
原创 ANN激活函数与代价函数等等等总结
激活函数sigmod梯度消失的解释：反向传播，sigmod函数接近饱和区时，变化缓慢，导致梯度接近0，经过几层网络的叠加,每层激活函数都需要相乘，梯度消失.(sigmod函数导数最大值为0.25，tanh导数最大为1）梯度爆炸原因，前馈网络中W权值初始化过大(？)，RNN中BPTT算法若特征值大于一，则可能梯度爆炸，小于一可能梯度消失。解决办法：batchNorm 前馈网络，调整W，增设...
2018-10-11 19:06:27
1842
原创 LRN学习笔记
LRN（Local Response Normalization)作用：将不同卷积核RELU后的feature归一化，平滑处理，能增加泛化能力。Alexnet提出公式：其中i代表第i个卷积核ax,yi,表示第i个卷积核在x,y处的RELU后结果n表示规范化范围k,α,β,n为超参数，一组取值为2，10e−4，0.75a^{i}_{x,y},表示第i个卷积核在x,y处的RELU后结果n...
2018-09-28 13:21:11
665
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人