qq_43243022的博客

Kernel Function定义通过映射，可以把低维空间的数据映射到高维空间，映射函数φ（x）表示这个映射关系。核函数和映射没有关系，核函数只是用来计算映射到高维空间之后的内积的一种简便方法。作用通过一个映射函数φ(x)，将低维线性不可分问题，转化为高维线性可分(如SVM)。不通过映射关系来计算高维空间中的距离或角度，而是通过核函数来直接计算。优势：计算量小，明显低于映射到高维空间中...

from sklearn import svmfrom matplotlib import pyplot as pltfrom sklearn.model_selection import train_test_splitimport pandas as pdtrain=pd.read_csv('Digit/train.csv')test=pd.read_csv('Digit/test...

小波变换也是数据降维的一种，找到了一篇简单易懂的好文。http://www.360doc.com/content/15/0613/14/21899328_477836495.shtml

Why:Internal  Covariate Shift:网络中间层在训练过程中，输入数据分布的改变。训练过程中参数会不断的更新，前面层训练参数的更新将导致后面层输入数据分布的变化。因此，模型参数要不断去适应这种随迭代变化的输入分布，这回导致模型参数学习很慢。如果能使每层的输入分布固定（如均值为0，方差为1的高斯分布），那么模型参数的学习将会更加容易。What: 将每层输入的...

1 AlexNet(2012,ImageNet冠军，CNN用于图像分类的开山之作）结构：5 卷积层+3个全连接层（卷积核size:11,5,3）特点：ReLU 激活函数 （避免了sigmoid的梯度消失-反向传播的时候会连乘sigmoid的导数，初始值很大的话导数接近于0，导致前层网络梯度越来越小；计算量减小，加快了训练速度） LRN（Local Response Norma...

1 Logitic Regression是ctr预估模型的最基本的模型.优势：优势在于处理离散化特征，而且模型十分简单，很容易实现分布式计算。关于LR的变种也有许多，比如Google的FTRL，其实这些变种都可以看成：LR+正则化+特定优化方法缺点：特征与特征之间在模型中是独立的，需要进行大量的人工特征工程进行交叉特征组合；而且LR需要将特征进行离散化，归一化，在离散化过程中...

目录1CSDDN特约专稿：个性化推荐技术漫谈a 推荐系统的特点：b 完整的推荐系统构成：c 协同过滤（Collaborative Filtering）1 user-based基于用户2 item-based基于内容项3 对item-based扩展性的改进（大数据量时）——聚类分析2 协同过滤a 近实时协同过滤算法工程实践b 协同过滤特点：...

目录1 不一样的SVD（blog）2 推荐算法工程师 还有事可做吗？1 将业务转化为数学问题2 根据数据特性定义模型y = wx + sq + sp + pq3根据业务定义合理损失函数4 参数调优5计算量太大的离线算法优化和线上算法优化3 Accuracy vs Diversity4 推荐模型混合方法5. 推荐系统的动态模型1 不一样...

目录1 LFM（Latent Factor Model）原理2 LFM 特点3 基于LFM的电影推荐1 LFM（Latent Factor Model）原理隐语义模型思想：将user与item分别用一个F维的隐向量来表示，其乘积就表示用户对物品的评分或感兴趣程度。可以理解为：user并不是直接喜欢物品，而是喜欢F个类别，而item属于这F个类别，学习每个user对类别的感...

学了机器学习一个月了，跃跃欲试想实践一把。参考了kaggle上一篇非常详细的帖子，断断续续用了一个星期，自己一步一步地完成了Titanic的预测分析，也算是入了门。看会和写出来再到生成文件提交上去，整个流程做下来遇到了各种各样的问题。作图不会注释怎么办？中文显示乱码怎么办？panda是切片loc和iloc用哪个？ 训练的时候显示 y 标签为（n_samples,1）和（n_samples,）不...

1 标准化&归一化Standardization:z-score标准化将数据均值转化为0，标准差转化为1。处理后的数据符合标准正态分布。Normalization: min-max归一化（0 ~ 1）利用最大最小值，将数据进行线性转化，范围落在（0 ~ 1）。归一化到任意区间（a ~ b）（1）首先找到原样本数据集的最小值Min及最大值Max...

看到关于特征工程的，最为详细的介绍。https://www.cnblogs.com/jasonfreak/p/5448385.html

作用当样本的各个特征的数量级相差较大，那么不同特征对模型的影响也会有较大的差别。为了使每个特征都具有相同的重要性，通过归一化（标准化），来把所有特征的范围化为同一量级。常见方法Standardization利用均值与标准差来计算，最终取值范围是[-1 , 1]Min-Max Scaling利用最小值和最大值来计算，取值范围是[0 , 1]应用KNN中、岭回归...

作用通过引入惩罚项，能够减少不重要的参数。通过比较经过不同程度缩减得到的系数，我们可以看出特征的重要程度（系数越大，对结果影响越大），从而更好地理解数据，有助于模型的改进。方法岭回归：线性回归时，如果特征比样本点还多（n>m），此时输入矩阵X将不是满秩矩阵，则无法求逆，最小二乘法（Ordinary Least Squares）将无法求解：此时引入一个单位矩阵 λI ，从而使矩阵非...

测试集与训练集我们无法直接获得泛化误差，而训练误差又由于过拟合现象的存在而不适合作为评估标准。通常需要一个测试集来测试模型对新样本的学习能力，用测试集的测试误差作为泛化误差的近似。所以，一个包含 m 个样例的数据集D，需要进过处理，从中产生出训练集 S 和测试集 T，来进行模型的学习和测试。评估方法1 留出法直接将数据集D划分为两个互斥的集合，一个做训练集 S，一个作为测试集 T。...

1 请写出贝叶斯公式，请描述朴素贝叶斯分类方法的原理和步骤。贝叶斯公式朴素贝叶斯假设： -特征之间相互独立（统计意义上，一个特征出现的可能性与其他特征没有关系，朴素的意义） -各特征同等重要P(Ci): 先验概率P(Ci|**x**): 后验概率素贝叶斯分类方法原理 依据给定的资料，统计各个特征在相应类别下的概率，从而实现分类。朴素贝叶斯分类步骤⑴收集数据：可...

1 支持向量机思想：建立可以分类的超平面，距离超平面最近的点称为支持向量，通过最大化支持向量到超平面的距离，来建立最佳分类超平面，完成分类。SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。一般SVM有下面三种：形式：线性可分支持向量机（硬间隔）：当训练数据线性可分时，可通过硬间隔最大化学得一个线性可分支持向量机。线性支持向量机（...

损失函数度量模型一次预测的好坏 L( Y，f(X) )常见类型：期望风险（风险函数）度量平均意义下的模型预测的好坏，即损失函数的期望。（关于 联行分布的期望，未知，无法直接计算）经验风险模型关于训练数据集的平均损失，当样本容量N–>∞，经验风险趋于期望风险。经验风险最小化，保证模型有很好的学习效果。结构风险（正则化）为防止过拟合而提出，在经验风险的基...

Boosting特点：个体学习器之间存在强依赖关系、必须串行生成的方法。关注偏差的降低。方法： 先从初始训练集选练出一个弱学习器，再根据弱学习器的表现进行样本分布的调整，提高那些被错误学习的样本的权值，降低那些被正确学习的样本的权值，然后继续训练下一个弱学习器。最后将一定数量的弱学习器进行组合，通过平均法或投票法，得到输出结果。AdaBoost: 加性模型，及若干个弱学习器的线性组合...

问题朴素贝叶斯求解朴素贝叶斯公式：求解思想：即求先验概率与条件概率乘积的最大值求解注意：本人求解过程中忘记了 Laplace 平滑 (⊙︿⊙)，但好在预测值里面没有学历为博士的一项，所以不平滑也不影响预测，但这样是不规范的。代码分析1 读取数据2 数据切片，转换（将字符型数据编码）3 划分训练集和测试集4 导入 sklearn 贝叶斯方法，拟合5 预...

线性回归思想通过学习，找到属性的线性组合来预测输出标记。损失函数一般采用均方误差作为损失函数：优化方法梯度下降法（不满秩情况使用，收敛较慢，有可能求得局部最小值）正规方程求解-最小二乘法（需要X是满秩的，即样本数大于特征数）形式一般线性回归岭回归（Ridge）:防止过拟合，损失函数加入正则化项，L2范数lasso：加入正则化项，L1范数ElasticNet：...

离散特征离散特征变量类型可以分为有序类和无序类。无序类，价值相等且可区分，没有等级、顺序、排序、好坏等逻辑关系，各变量相互独立：性别（男/女）、颜色（赤橙黄绿青蓝紫）、登机口（A/B/C）；有序类：各变量有级别大小等逻辑关系：尺码（L/XL/XXL）、学历（高/中/低）为何要编码对无序类：为何不能直接对特征进行赋值，比如male1,female0。这是不科学的，因为这样一来就存...

目录1 协同过滤算法1.1 CF与 User/Item 推荐算法区别1.2 UserCF1.3 ItemCF2 评价指标3 基于userCF与itemCF电影推荐3.1 MovieLens数据集3.2 userCF代码实现3.3 K值影响实验（userCF）3.4itemCF代码实现3.5 K值影响实验（itemCF）4 userCF与ite...