传统的机器学习算法:SVM,LR,softmax,决策树,随机森林,GBDT,xgboost,adaboost,bp神经网络、朴素贝叶斯这些都必须自己手推一次或者多次;
深度学习方面:CNN、RNN、LSTM、常用激活函数(tanh、relu等)、adam优化函数、梯度消失原理或者结构应该能手画出来。
nlp方面:强烈建议tf-idf、textrank、Word2vec、注意力机制、transformer都应该非常熟悉。
一、模型和算法篇(周六)
1)逻辑回归:
1. 手推LR,对并每一步进行解释,引入sigmoid,逻辑回归的公式,极大似然,求解参数时的梯度下降法;
2. 多分类问题怎么处理(ovr-??)
2)SVM
1. SVM的原理
2. SVM为什么采用间隔最大化?
当训练数据线性可分时,存在无穷个分离超平面可以将两类数据正确分开。利用间隔最大化求得最优分离超平面,这时解是唯一的。另一方面,此时的分隔超平面所产生的分类结果对未知实例的泛化能力最强。
3. SVM怎么处理过拟合?
解决的办法是为SVM引入松弛变量,在SVM公式中的目标函数加上松弛变量的平方和,并求最小值。这样就达到了一个平衡:既希望松弛变量存在以解决异常点问题,又不希望松弛变量太大导致分类解决太差。
4. SVM有哪些可以调节的参数ÿ