柳杰的博客

文章目录1. 为什么希望模型参数具有稀疏性？2. L1正则化使得模型参数具有稀疏性的原理是什么？角度：解空间形状1. 为什么希望模型参数具有稀疏性？  稀疏性，说白了就是模型的很多参数是0。这相当于对模型进行了一次特征选择，只留下一些比较重要的特征，提高模型的泛化能力，降低过拟合的可能。在实际应用中，机器学习模型的输入动辄几百上千万维，稀疏性就显得更加重要。2. L1正则化使得模型参数具有稀疏性的原理是什么？角度：解空间形状  在二维的情况下，黄色的部分是L2和L1正则项约束后的解空间，绿色的等高

文章目录引言一、损失函数1.回归问题损失函数1.1 均方误差—MSE(L2损失)1.2 均方根误差—RMSE1.3 平均绝对值误差—MAE（L1损失）1.4 Huber损失函数—平滑的平均绝对误差1.5 Log-Cosh损失1.6 分位数损失函数2. 分类问题中的损失函数2.1 对数损失函数2.2 交叉熵损失函数二、凸优化1.什么是凸函数？2. 凸函数有什么性质？三、经典优化算法1.梯度下降法2.牛顿法3.随机梯度下降法—SGD引言  机器学习算法=模型表征+模型评估+优化算法，优化算法所做的事就是在模

文章目录1. 大小为N的样本集进行有放回抽样，样本N次有重复抽取被选中的概率是多少？2.集成学习分为哪几种？它们有何异同？3. 为什么很多集成学习模型都选择决策树作为基分类器？4.什么是偏差与方差？如何从减小方差和偏差的角度解释Boosting和Bagging的原理？4.1 什么是偏差与方差？4.2 如何从减小方差和偏差的角度解释Boosting和Bagging的原理？5.梯度提升树GBDT的基本原理是什么？5.1 为什么可以使用梯度近似代替残差？5.2 二分类问题的GBDT算法5.3 多分类问题的GBDT

文章目录  如果模型的复杂度过低，虽然方差很小，但是偏差会很高；会造成模型欠拟合。  如果模型复杂度过高，虽然偏差很小，但是方差会很高；造成模型过拟合。  如果模型复杂度合适，偏差与方差都很小。所以我们要综合考虑偏差与方差选择合适复杂度的模型进行训练。  下面展示模型复杂度、偏差、方差和泛化误差的关系，发现只有选择合适的模型复杂度，才能使方差与偏差变小，模型的泛化性能最好。如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论或者私信！...

文章目录1.传统方法、卷积神经网络、循环神经网络是如何进行文本分类任务的？2.为什么RNN会出现梯度消失或梯度爆炸，有哪些改进方案？2.1 为什么RNN会出现梯度消失或梯度爆炸？循环神经网络理论及实战传送门：深度学习TF—9.循环神经网络RNN及其变体GRU、LSTM深度学习TF—10.循环神经网络RNN及其变体LSTM、GRU实战1.传统方法、卷积神经网络、循环神经网络是如何进行文本分类任务的？传统方法用传统方法进行文本分类任务时，通常将一篇文章对应的TF-IDF向量作为特征输入,其中

文章目录1.画出在二元输入的情况下，表示异或逻辑的网络图2.写出Sigmoid,tanh,reluSigmoid,tanh,reluSigmoid,tanh,relu的激活函数及对应导数3.为什么Sigmoid和tanhSigmoid和tanhSigmoid和tanh函数会导致梯度消失？4.ReLUReLUReLU系列的激活函数相对于Sigmoid和TanhSigmoid和TanhSigmoid和Tanh函数的优点是什么，有什么局限性？如何改进？5. 为什么引入非线性激励函数？6.如何选择合适的激活函数？6

文章目录一、一些概念1.什么是概率模型？2.什么是概率图模型？3.生成模型与判别模型的区别4.常见的概率图模型中哪些是生成模型，哪些是判别模型？二、HMM—隐马尔可夫模型1.什么是马尔科夫链？2.什么是隐马尔可夫模型？3.HMM的两个基本假设4.确定HMM的两组空间与三个参数一、一些概念1.什么是概率模型？  概率模型，顾名思义，就是将学习任务切结于计算变量的概率分布的模型。在生活中，我们经常会根据一些已经观察到的现象来推测和估计未知的东西——这种需求，恰恰是概率模型的推断《lnference)行为所

文章目录一、总结K均值算法步骤二、如何合理选择K值？三、K均值算法的优缺点是什么？四、如何对K均值算法进行调优？五、EM算法解决什么问题？六、EM算法流程是什么？六、EM算法能保证收敛嘛？如果收敛能收敛到全局最大值嘛？七、EM为什么不用牛顿法或者梯度下降?八、高斯混合模型GMM的核心思想是什么？九、高斯混合模型是如何迭代计算的？十、高斯混合模型与K均值算法比较十一、如何快速收敛数据量大的k-means算法？一、总结K均值算法步骤二、如何合理选择K值？手肘法我们可以尝试不同的K值，并将不同K值所对

文章目录一、分析PCA与LDA的各自特点1.从求解方法来看2. 从目标来看3. 从结果来看4. 从应用角度来看二、分析PCA降维的一些优缺点一、分析PCA与LDA的各自特点1.从求解方法来看PCA求解方法：LDA求解方法：从PCA和LDA两种降维方法的求解过程来看，它们确实有着很大的相似性，但对应的原理却有所区别。2. 从目标来看  PCA选择的是投影后数据方差最大的方向。由于它是无监督的，因此PCA假设方差越大，信息量越多，用主成分来表示原始数据可以去除冗余的维度，达到降维。而LDA选择

文章目录1.硬间隔SVM公式推导1.硬间隔SVM公式推导

文章目录引言一、间隔与支持向量1.什么是线性可分？2.什么是超平面？什么是最大间隔超平面？3.什么是支撑向量？4.SVM最优化问题二、对偶问题1.约束条件下的目标函数如何求解最优化问题？2. 怎么理解对偶问题？3.什么是对偶问题？4.KKT约束条件5.求解硬间隔SVM最优化问题推导三、软间隔1.软间隔的提出是解决什么问题的？2.软间隔后线性SVM的最优化问题是什么？3.求解软间隔SVM最优化问题推导四、核函数1.线性不可分问题怎么解决？2.什么是非线性SVM？3.为什么要有核函数？4. 有了核函数，如何求解

文章目录一、逻辑回归1.逻辑回归公式推导2.逻辑回归优缺点是什么？3.为什么逻辑回归需要归一化？4.对于逻辑回归，连续特征离散化的作用是什么？5.逻辑回归能否解决非线性的分类问题？二、决策树1.决策树的算法（ID3，C4.5，CART）总结1.1 ID3—信息增益1.2 C4.5—信息增益比1.3 CART—基尼指数1.4 三种算法对比2.为什么决策树需要剪枝？如何进行剪枝？3.为什么信息增益比比信息增益更佳？4.决策树的优缺点是什么？一、逻辑回归1.逻辑回归公式推导可以从下面四个方面展开：伯努利过程

文章目录一、 特征归一化与标准化问题1. 什么是归一化？2. 有哪些归一化方法？3. 为什么要对数值类型特征做归一化？4. 标准化与归一化的区别二、 组合特征的相关问题1. 什么是组合特征？2. 怎么处理高维组合特征？3. 怎样有效的找到组合特征？三、如何处理类别型特征？四、文本处理部分问题1.什么是词袋模型？2.TF-IDF怎么计算的？3. 主题模型4. 什么是词嵌入模型？5. 如何理解word2vec？五、总结分类问题和回归问题评价指标六、ROC与AUC1.什么是ROC？如何绘制ROC？2. 如何计算A

文章目录一、特征归一化二、类别型特征三、高维组合特征的处理一、特征归一化描述  为了消除数据特征之间的量纲影响，我们需要对特征进行归一化，使得不同指标之间具有可比性，使得各指标处于同一数值量级，以便于分析。方法：线性函数归一化（Min-Max），将原始数据映射到[0,1]范围内from sklearn.preprocessing import MinMaxScaler零均值归一化（标准化），将原始数据映射到mean=0，std=1的分布上from sklearn.preproces