qq_45069496的博客

  在机器学习中，针对一些问题，有算法可以为系统自动学习一套好的特征。因此，不要试图手动设计，但手写代码是我们目前为止常干的事。有一些设置，我们可以有一个算法，仅仅学习其使用的特征，推荐系统就是类型设置的一个例子。  我们从一个例子开始定义推荐系统的问题。假设我们是一个电影供应商，我们有 5 部电影和 4 个用户，我们要求用户为电影打分。  我们可以看出前三部是爱情片，后两部则是动作片，Alice 和 Bob 似乎更倾向于爱情片，而 Carol 和 Dave 则更倾向于动作片，并且没有一个用户给所有的

飞机引擎制造商生产的飞机引擎，从生产线上流出时，需要进行 QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如，你可能测量了。

降维就是指通过矩阵乘法运算后，把原来的矩阵维度减少。维数减少了，虽然可以大大减少算法的计算量，但是若对基矩阵 P 选择不当的话就很有可能会导致信息量的缺失。因此我们要选择哪 K 个基(这里还不知道是特征向量)才能保证降维后能最大程度保留原有的信息，是进行设计的主方向。...

核聚类方法的主要思想是通过一个非线性映射，将输入空间中的数据点映射到高维的特征空间中，并在新的特征空间中进行聚类。K-means 的本质是基于欧式距离的数据划分算法，均值和方差大的维度将对数据的聚类产生决定性影响。K 值的选取对 K-means 影响很大，这也是 K-means 最大的缺点，常见的选取 K 值的方法有：手肘法、Gap statistic方法。听课之后，大家觉得距离太远了，于是每个牧师统计了一下自己的课上所有的村民的地址，搬到了所有地址的中心地带，并且在海报上更新了自己的布道点的位置。...

  EM 算法，全称 Expectation Maximization Algorithm。期望最大算法是一种迭代算法，用于含有隐变量（Hidden Variable）的概率参数模型的最大似然估计或极大后验概率估计。EM 算法的核心思想非常简单，分为两步：Expectation-Step 和 Maximization-Step。  E-step：通过观察数据和现有模型来估计参数，然后用估计的参数值来计算似然函数的期望值  M-step：寻找似然函数最大化时对应的参数由于算法会保证在每次迭代之后似然函数

SVM算法的本质就是最大化离超平面最近点（支持向量）到该平面的距离。

利用水库水位变化预测大坝出水量，数据集为：ex5data1.mat。  很明显，图中数据应该是一个非线性模型，但为了展示欠拟合的效果，现假设模型为线性模型：hθ(x)=θ0+θ1xh_\theta(x) = \theta_0 + \theta_1xhθ​(x)=θ0​+θ1​x  损失函数为：J(θ)=12m∑i=1m(hθ(x(i))−y(i))2+λ2m∑j=1mθj2J(\theta) = \frac{1}{2m}\sum_{i=1}^m{(h_\theta(x...

根据学生的两门学生成绩，预测该学生是否会被大学录取。数据集 ex2data1.txt 中包含了两门课的成绩以及是否被大学录取，0代表未录取，1代表录取。4. 定义sigmoid函数和损失函数  对于逻辑回归模型，我们构建的模型为：P(y=1∣x;θ)=11+e−θTxP(y=1|x;\theta) = \frac{1}{1 + e^{-\theta^Tx}}P(y=1∣x;θ)=1+e−θTx1​  代码中（mmm表示样本维度，nnn表示样本个数）：X=[1x01x02⋯x0m1x11x12⋯x1

假设你是一家餐厅的CEO，正在考虑开一家分店，根据该城市的人口数据预测其利润。我们拥有不通过城市对应的人口数据以及利润：ex1data.txt  由于线性回归模型的样式为：y=θ0+θ1xy = \theta_0 + \theta_1xy=θ0​+θ1​x  将其转换为向量乘法就是：y=[1x01x1⋮⋮1xm][θ0θ1]y = \begin{bmatrix} 1 & x_0 \\ 1 & x_1 \\ \vdots & \vdots \\ 1 & x_m \end{b

本文旨在完成吴恩达机器学习的课后作业，搭建一个简单的神经网络来实现多分类问题，以手写数字识别为例。加载手写数字的数据集实现两层神经网络  在神经网络中，我们可以有很多输出变量，我们的 hθ(𝑥)ℎ_\theta(𝑥)hθ​(x) 是一个维度为 𝐾𝐾K 的向量，并且我们训练集中的因变量也是同样维度的一个向量，因此我们的代价函数会比逻辑回归更加复杂一些，为：hθ(𝑥)∈R𝐾，(hθ(𝑥))𝑖=ithoutputℎ_\theta(𝑥) ∈ ℝ^𝐾 ，{(ℎ_\theta(.........