1. Xgboost相关知识点
a. boosting tree, Random Forest, Adaboost, GBDT, Xgboost的区别;
b. Random Forest, Xgboost如何做特征选择;
c. Xgboost的原理,工程上的优化细节;
d. GBDT与xgboost的区别:http://wepon.me/
e. RF与GBDT的区别:https://blog.csdn.net/qq_28031525/article/details/70207918
https://blog.csdn.net/qq_19446965/article/details/82079624
f. GBDT的推导,看《统计机器学习》P146
g. Xgboost的调参细节
(1) learning_rate 或者 eta [default=0.3]: shrinkage参数,用于更新叶子节点权重时,乘以该系数,避免步长过大。参数值越大,越可能无法收敛。把学习率 eta 设置的小一些,小学习率可以使得后面的学习更加仔细。
(2)max_depth [default=6]: 每颗树的最大深度,树高越深,越容易过拟合。
(3)n_estimators – Number of trees to fit.
(4)booster (string) – Specify which booster to use: gbtree, gblinear or dart.
(5)subsample (float) – Subsample ratio of the training instance. 样本随机采样,较低的值使得算法更加保守,防止过拟合,但是太小的值也会造成欠拟合。
(6)gamma [default=0]:后剪枝时,用于控制是否后剪枝的参数。
(7)colsample_bytree [default=1]:列采样,对每棵树的生成用的特征进行列采样.一般设置为: 0.5-1
(8)reg_alpha (float (xgb's alpha)) – L1 regularization term on weights
(9)reg_lambda (float (xgb's lambda)) – L2 regularization term on weights
2. SVM与LR相关知识点:参考:https://zhuanlan.zhihu.com/p/32877396
a. 会推导公式
b. 函数距离与几何距离区别
c. 关于SVM核函数的选取的问题:
吴恩达的见解:
(1)如果特征维数很高,往往线性可分(SVM解决非线性分类问题的思路就是将样本映射到更高维的特征空间中),可以采用LR或者线性核的SVM;
(2)如果样本数量很多,由于求解最优化问题的时候,目标函数涉及两两样本计算内积,使用高斯核明显计算量会大于线性核,所以手动添加一些特征,使得线性可分,然后可以用LR或者线性核的SVM;
(3)如果不满足上述两点,即特征维数少,样本数量正常,可以使用高斯核的SVM;
d. SVM的优缺点
缺点:
- 时空开销比较大,训练时间长;
- 核函数的选取比较难,主要靠经验。
优点:
- 在小训练集上往往得到比较好的结果;
- 使用核函数避开了高纬空间的复杂性;
- 泛化能力强。
e. SVM与LR的区别,参考:https://blog.csdn.net/qq_35945399/article/details/81175772
(1)本质上是loss函数不同,或者说分类的原理不同,LR是交叉熵损失函数,基于概率论中的极大似然估计,通过极大似然估计的方法估计模型的参数,让模型产生的分布与训练数据尽可能的接近;SVM是最大化分类间隔,最大化几何间隔,损失函数是hinge loss(y=max(0, 1-ty));
(2)SVM是结构风险最小化,LR则是经验风险最小化;SVM的loss函数的第一项可看作L2正则项,LR需要加入正则化项;
(3)SVM只考虑分界面附近的少数点,而LR则考虑所有点;影响SVM决策面的样本点只有少数的支持向量,在支持向量外添加或减少任何样本点,对分类决策面没有任何影响;在LR中,每个样本点都会影响决策面,决策面会倾向于远离样本数量较多的类别,如果不同类别之间的数量严重不平衡,一般需要先对数据做balancing;
(4)SVM不能产生概率,LR可以产生概率;
(5)在解决非线性问题时,SVM可采用核函数的机制,而LR通常不采用核函数的方法;SVM只有少数几个样本需要参与核计算(即kernal machine解的系数是稀疏的);LR里每个样本点都要参与核计算,计算复杂度太高,故LR通常不用核函数。
(6)SVM计算复杂,但效果比LR好,适合小数据集;LR计算简单,适合大数据集,可以在线训练。
f. LR的并行化,参考:http://blog.sina.com.cn/s/blog_6cb8e53d0101oetv.html
g. 为什么LR的输入特征一般是离散的不是连续的?
在工业界,很少直接将连续值作为逻辑回归模型的特征输入,而是将连续特征离散化为一系列0、1特征交给逻辑回归模型,这样做的优势有以下几点:
(1)离散特征的增加和减少都很容易,易于模型的快速迭代;
(2)稀疏向量内积乘法运算速度快,计算结果方便存储,容易扩展;
(3)离散化后的特征对异常数据有很强的鲁棒性:比如一个特征是年龄>30是1,否则0。如果特征没有离散化,一个异常数据“年龄300岁”会给模型造成很大的干扰;
(4)逻辑回归属于广义线性模型,表达能力受限;单变量离散化为N个后,每个变量有单独的权重,相当于为模型引入了非线性,能够提升模型表达能力,加大拟合;
(5)离散化后可以进行特征交叉,由M+N个变量变为M*N个变量,进一步引入非线性,提升表达能力;
(6)特征离散化后,模型会更稳定,比如如果对用户年龄离散化,20-30作为一个区间,不会因为一个用户年龄长了一岁就变成一个完全不同的人。当然处于区间相邻处的样本会刚好相反,所以怎么划分区间是门学问;
(7)特征离散化以后,起到了简化了逻辑回归模型的作用,降低了模型过拟合的风险。
h. 为什么LR模型要用sigmoid函数,背后的数学原理是什么?参考:https://www.zhihu.com/question/35322351
3. 深度学习优化方法原理
a. 看《深度学习》
b. 参考:https://blog.csdn.net/u014595019/article/details/52989301
c. BGD、SGD和MSGD的区别:
BGD:更倾向于朝着全局最优的方向优化,但是每迭代一步,都要用到训练集所有的数据,如果样本数目很大,那么可想而知这种方法的迭代速度会下降(所以,这就引入了另外一种方法,随机梯度下降)。优点:朝着全局最优解的方向优化,易于并行实现;缺点:当样本数目很多时,训练过程会很慢;
SGD:随机梯度下降是通过每个样本来迭代更新一次,如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经将theta迭代到最优解了。但是,SGD伴随的一个问题是噪音较BGD要多,使得SGD并不是每次迭代都向着整体最优化方向。优点:训练速度快;缺点:准确度下降,并不是全局最优;不易于并行实现。
MSGD:以上两种梯度下降法各自均有优缺点,那么能不能在两种方法的性能之间取得一个折衷呢?即,算法的训练过程比较快,而且也要保证最终参数训练的准确率,而这正是小批量梯度下降法(Mini-batch Gradient Descent,简称MBGD)的初衷。MBGD在每次更新参数时使用b个样本。
d. 自适应学习率的优化算法有:Adagrad、RMSProp和Adam等,参考:https://zhuanlan.zhihu.com/p/32230623
Adagrad每次更新参数,学习率都要除以历史梯度平方和的平方根(累计平方和 r = r +g*g, g为梯度);RMSProp对梯度历史平方和引入了指数衰减,使其能够在凸碗结构中快速收敛,使用移动平均,引入新超参-衰减速率p(r=pr+(1-p)g*g);Adam中,动量直接并入了梯度的一阶矩(指数加权)的估计中,RMSProp也采用了二阶矩估计,但是缺失修正因子,Adam包括偏置修正,修正了从原点初始化的一阶矩和二阶矩(一阶矩:s=p1*s+(1-p1)*g, 二阶矩:r=p2*r+(1-p2)*g*g,然后修正s和r)。
4. 如何防止过拟合(全面),深度学习如何防止过拟合
a. 深度学习中常用的防止过拟合的方法有:参数范数惩罚(L1和L2),数据集增强(加入随机噪声),提前终止(需要预留验证集),参数共享(CNN),bagging,Dropout等;熟悉dropout的原理。
5. L1与L2正则(以及其他防止过拟合方法)的原理(经典):https://blog.csdn.net/u010402786/article/details/49592239
a. Batch Normalization的原理与好处:https://www.zhihu.com/question/38102762
顾名思义,batch normalization就是“批规范化”。Google在ICML文中描述的非常清晰,即在每次SGD时,通过mini-batch来对相应的activation做规范化操作,使得结果(输出信号各个维度)的均值为0,方差为1. 而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入(即当),从而保证整个network的capacity。(有关capacity的解释:实际上BN可以看作是在原模型上加入的“新操作”,这个新操作很大可能会改变某层原来的输入。当然也可能不改变,不改变的时候就是“还原原来输入”。如此一来,既可以改变同时也可以保持原输入,那么模型的容纳能力(capacity)就提升了。)
BN可以应用于网络中任意的activation set。文中还特别指出在CNN中,BN应作用在非线性映射前,即对做规范化。什么时候用BN比较好?例如,在神经网络训练时遇到收敛速度很慢,或梯度爆炸等无法训练的状况时可以尝试BN来解决。另外,在一般使用情况下也可以加入BN来加快训练速度,提高模型精度。BN到底是什么原理呢?说到底还是为了防止“梯度弥散”。关于梯度弥散,大家都知道一个简单的栗子:
。在BN中,是通过将activation规范为均值和方差一致的手段使得原本会减小的activation的scale变大。可以说是一种更有效的local response normalization方法。
BN带来的好处 (1) 减轻了对参数初始化的依赖,这是利于调参的朋友们的。
(2) 训练更快,可以使用更高的学习率。
(3) BN一定程度上增加了泛化能力,dropout等技术可以去掉。
BN的缺陷
从上面可以看出,batch normalization依赖于batch的大小,当batch值很小时,计算的均值和方差不稳定。研究表明对于ResNet类模型在ImageNet数据集上,batch从16降低到8时开始有非常明显的性能下降,在训练过程中计算的均值和方差不准确,而在测试的时候使用的就是训练过程中保持下来的均值和方差。这一个特性,导致batch normalization不适合以下的几种场景。
(1)batch非常小,比如训练资源有限无法应用较大的batch,也比如在线学习等使用单例进行模型参数更新的场景。
(2)rnn,因为它是一个动态的网络结构,同一个batch中训练实例有长有短,导致每一个时间步长必须维持各自的统计量,这使得BN并不能正确的使用。在rnn中,对bn进行改进也非常的困难。不过,困难并不意味着没人做,事实上现在仍然可以使用的,不过这超出了咱们初识境的学习范围。
b. 有关batch size的讨论:https://blog.csdn.net/ycheng_sjtu/article/details/49804041
c. 深度学习中关于Normalization的讨论:https://zhuanlan.zhihu.com/p/33173246
6. mysql底层原理
7. 有关Cross Entropy 和 MSE的问题,参考:https://blog.csdn.net/xg123321123/article/details/80781611 和 http://sofasofa.io/forum_main_post.php?postid=1001792 和 https://blog.csdn.net/u012421852/article/details/79620810
逻辑回归的最小二乘法的代价函数不是关于分布参数θ的凸函数,求解过程中,会得到局部最优,不容易求解全局最优θ。
熵与信息增益的问题:https://blog.csdn.net/xg123321123/article/details/52864830
8. 神经网络模型基础知识--反向传播算法,激活函数,初始化方法,参考:https://mp.weixin.qq.com/s?__biz=MzIwOTc2MTUyMg==&mid=2247483918&idx=1&sn=b2e0b086243b464f8ca32a938ff9fcfe&chksm=976fa793a0182e856784071cd5a84476cb5c8c98e12415bc3eef6ae8bd0bf4dcdb6e4927cfec&scene=21#wechat_redirect
a. 常用的激活函数,以及选取方法:
如何选择合适的激活函数呢?首先我们来比较sigmoid函数和tanh函数。对于隐藏层的激活函数,一般来说,tanh函数要比sigmoid函数表现更好一些。因为tanh函数的取值范围在[-1,+1]之间,隐藏层的输出被限定在[-1,+1]之间,可以看成是在0值附近分布,均值为0。这样从隐藏层到输出层,数据起到了归一化(均值为0)的效果。因此,隐藏层的激活函数,tanh比sigmoid更好一些。而对于输出层的激活函数,因为二分类问题的输出取值为{0,+1},所以一般会选择sigmoid作为激活函数。
观察sigmoid函数和tanh函数,我们发现有这样一个问题,就是当|z|很大的时候,激活函数的斜率(梯度)很小。因此,在这个区域内,梯度下降算法会运行得比较慢。在实际应用中,应尽量避免使z落在这个区域,使|z|尽可能限定在零值附近,从而提高梯度下降算法运算速度。
为了弥补sigmoid函数和tanh函数的这个缺陷,就出现了ReLU激活函数。ReLU激活函数在z大于零时梯度始终为1;在z小于零时梯度始终为0;z等于零时的梯度可以当成1也可以当成0,实际应用中并不影响。对于隐藏层,选择ReLU作为激活函数能够保证z大于零时梯度始终为1,从而提高神经网络梯度下降算法运算速度。但当z小于零时,存在梯度为0的缺点,实际应用中,这个缺点影响不是很大。为了弥补这个缺点,出现了Leaky ReLU激活函数,能够保证z小于零是梯度不为0。
最后总结一下,如果是分类问题,输出层的激活函数一般会选择sigmoid函数。但是隐藏层的激活函数通常不会选择sigmoid函数,tanh函数的表现会比sigmoid函数好一些。实际应用中,通常会会选择使用ReLU或者Leaky ReLU函数,保证梯度下降速度不会太小。其实,具体选择哪个函数作为激活函数没有一个固定的准确的答案,应该要根据具体实际问题进行验证(validation)。
maxout激活函数,参考:https://blog.csdn.net/hjimce/article/details/50414467
b. 反向传播算法推导,参考:http://ufldl.stanford.edu/wiki/index.php/反向传导算法 和 https://blog.csdn.net/dare_kz/article/details/77603522
9. 损失函数,交叉熵
10. RNN、LSTM与GRU的结构参考: http://blog.echen.me/2017/05/30/exploring-lstms/和 https://www.jianshu.com/p/9dc9f41f0b29
LSTM与长期依赖问题,参考:https://blog.csdn.net/woaidapaopao/article/details/77806273
在RNN中,神经元的输出可以在下一个时间戳直接作用到自身,即第i层神经元在m时刻的输入,除了(i-1)层神经元在该时刻的输出外,还包括其自身在(m-1)时刻的输出,所以叫循环神经网络。RNN引入了循环的概念,但是在实际过程中却出现了初始信息随时间消失的问题,即长期依赖(Long-Term Dependencies)问题,所以引入了LSTM。
LSTM如何防止梯度消失(弥漫)或者爆炸:因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的,RNN是叠乘,因此LSTM可以防止梯度消失或者爆炸。推导forget gate,input gate,cell state, hidden information等因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的,RNN是叠乘,因此LSTM可以防止梯度消失或者爆炸;LSTM用加和的方式取代了乘积,使得很难出现梯度弥散;但是相应的更大的几率会出现梯度爆炸,但是可以通过给梯度加门限解决这一问题。
11. Attention机制:https://blog.csdn.net/TG229dvt5I93mxaQ5A6U/article/details/78422216
https://www.cnblogs.com/robert-dlut/p/8638283.html
https://kexue.fm/archives/4765
12. 常见的损失函数,参考:https://www.cnblogs.com/hejunlin1992/p/8158933.html
0-1损失函数,绝对值损失函数、对数损失函数,平方和损失函数,hinge loss。
13. 常见推荐算法,参考:https://www.cnblogs.com/xuanku/p/recsys.html
14. 算法时间复杂度分析,以斐波那契数列为例,参考:http://www.cnblogs.com/gaochundong/p/complexity_of_algorithms.html
15. 类别不平衡问题如何处理,参考:https://www.cnblogs.com/wkslearner/p/8870673.html
16. 残差网络的原理,为什么可以训练很深的网络(待补充)。
17. SQL中join的用法,参考: https://www.cnblogs.com/jiuban2391/p/6609862.html
18. NLP,参考博客:http://jalammar.github.io/
预训练语言模型,参考:https://mp.weixin.qq.com/s/mii-CxD7Toq6wVbGd8-_5Q
19. 递归算法时间复杂度的分析方法有:代入法(其实就是数学归纳法)、递归树法、主方法(记公式),参考博客:https://blog.csdn.net/so_geili/article/details/53444816 和公开课: http://open.163.com/special/opencourse/algorithms.html (前两节)
https://mp.weixin.qq.com/s/rbCcNGrULYpnVWss4nSI4A
21. 双向RNN或者LSTM的理解,参考:https://zhuanlan.zhihu.com/p/40119926
双向的RNN可以理解为两层单向的LSTM网络堆叠在一起, 最后的结果是对两层网络的拼接,但是每个cell单元还是单向的。
数据结构与算法:
1. 单链表的归并排序与快速排序,参考:https://blog.csdn.net/qq_34364995/article/details/80994110 和 https://blog.csdn.net/a66273039/article/details/84565065