langzhining的博客

1.重新理解Ax=bAx=b1.从矩阵A的行和列去分析有两种解释行视图理解：每行是一个超平面，各行的交点（面）是x的解，不相交x无解列视图理解：x为权重，对A的每列加权线性组合，即空间中向量相加（利用平行四边形法则）2.列视图理解线性相关和线性无关：二维：向量不共线；三维：向量不共面；若矩阵A列线性无关，则Ax=0的解只有x=0，此时A可逆3.四个基本子空间（A为m∗nm*n维矩阵）子空

1.模型要素1.提升模型（加法模型）Fm(xi)=∑j=1mαjGj(xi)=Fm−1(xi)+αmGm(xi)F_m(x_i)=\sum_{j=1}^{m}\alpha_jG_j(x_i)=F_{m-1}(x_i)+\alpha_mG_m(x_i)Fm(xi)=∑j=1mTj=Fm−1(xi)+Tm(xi)F_m(x_i)=\sum_{j=1}^{m}T_j=F_{m-1}(x_i)+T_m(x_

一. 01阶跃神经元理论上可以通过多个神经元组合完成任意逻辑操作，但无法自动训练，原因是函数不连续，权重的一个微小改变可能导致感知器输出的完全反转，不能通过逐步修改权重和偏置来让网络接近期望二. Sigmoid神经元函数及导数形式： σ(z)=11+e−zσ′(z)=σ(z)(1−σ(z))\sigma(z)=\frac{1}{1+e^{-z}}\\\sigma^{'}(z)=\sigma(z)

1. SVD用于数据压缩Am×n=Um×rΣr×r(Vn×r)T=∑σiuivTiA^{m\times n}=U^{m\times r}\Sigma^{r\times r}(V^{n\times r})^T=\sum\sigma_iu_iv_i^T1）数学特征： a. r为矩阵的秩，转换坐标基底，表示矩阵A每行每列所用向量的最小维度 b. U和V称为左奇异矩阵和右奇异矩阵，都是单位正交阵，每个奇

1. 聚类特点应用：a. 发现样本共同的群体cluster; b. 可作为监督学习中稀疏特征的预处理（进行特征分桶）; c. 发现图片边缘聚类使用的信息：样本与样本间的相似度，相似度评判指标有欧式距离（常用，2范数）、曼哈顿距离（1范数）、余弦距离（不能证明一定收敛，内积）Jaccard相似度，Pearson相似度，核函数映射后距离（做特征映射，如设置高阶项，非线性聚类，每两类的分类边界不是直线

1. Naive Bayes基础成立条件：条件独立假设公式：C=P(S|(x1,x2,...,xn)=P(x1|S)P(x2|S)...P(xn|S)P(S)C=P(S|(x_1,x_2,...,x_n)=P(x_1|S)P(x_2|S)...P(x_n|S)P(S)Naive Bayse的本质是一个两层的概率图模型，父节点是类别S，子节点是单词w（构成在类别S下w的条件独立），w在伯努利模型

1. 极大似然估计在机器学习中的应用在有监督学习中要求的是标签下的条件概率，极大似然学习的是概率分布PP，可把PP看作是条件概率，使用极大似然，得到概率模型 应用模型：最大熵模型，逻辑回归在无监督学习中，标签不知道，只能在推导中使用极大似然估计的过程 应用：EM算法（GMM模型）2. 熵熵是平均不确定性的独立，函数到值的映射（泛函） 1. 平均互信息量（衡量确定性）：I(X,Y)=H(X