LXYTSOS的专栏

聚类是非监督学习的一种形式，它将一个观测集（即数据点）划分到自然组或模式聚类。聚类的途径是测量分配给每个聚类的观测对之间的相似性以最小化一个指定的代价函数。K-均值（K-means）简单易实现，同时具有良好的性能。聚类重新定义：给定N个观测值得集合，通过以下方式寻找编码器C：将这些观测值分配给K个聚类，使得在每个聚类中，给定的观测值与聚类均值的不相似性的平均度量最小。

此笔记为本人在阅读Machine Learning With Spark的时候所做的，笔记有翻译不准确或错误的地方欢迎大家指正。Spark集群Spark集群由两种进程组成：一个驱动程序和多个执行程序。在本地模式下，所有的进程都在同一个Java虚拟机中运行。在集群上，这些进程则通常在多个节点上运行。比如，在单机环境下运行的集群有以下特征： 1、一个主节点作为spark单机模式的主进程和驱动程序。

注：原文中的代码是在spark-shell中编写执行的，本人的是在eclipse中编写执行，所以结果输出形式可能会与这本书中的不太一样。首先将用户数据u.data读入SparkContext中，然后输出第一条数据看看效果，代码如下：val sc = new SparkContext("local", "ExtractFeatures")val rawData = sc.textFile("F:\\

我们现在开始训练模型，还输入参数如下： rank：ALS中因子的个数，通常来说越大越好，但是对内存占用率有直接影响，通常rank在10到200之间。 iterations：迭代次数，每次迭代都会减少ALS的重构误差。在几次迭代之后，ALS模型都会收敛得到一个不错的结果，所以大多情况下不需要太多的迭代（通常是10次）。 lambda：模型的正则化参数，控制着避免过度拟合，值越大，越正则化。我们将

假设我们有一些数据点，我们使用一条直线对这些点进行拟合，这条线称为最佳拟合直线，这个拟合过程称为回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。我们想要得到一个函数，能够接受所有的输入然后预测出类别。例如在两个类的情况下，函数输出0或1。该函数称为海维塞德阶跃函数（Heaviside step function），或者直接称为单位阶跃函数。但是

线性回归 用线性回归找到最佳拟合直线回归的目的是预测数值型数据，根据输入写出一个目标值的计算公式，这个公式就是回归方程（regression equation），变量前的系数（比如一元一次方程）称为回归系数（regression weights）。求这些回归系数的过程就是回归。假设输入数据存放在矩阵X X中，回归系数存放在向量w w中，那么对于数据X 1  X_1的预测结果可以用Y 1 =X T

现在仍然记得大学最“无聊”的一堂课之一——概率论，出勤人数三个班加起来也没超过正常一个班的数量，当然最后一堂课除外（笑）。个人感觉上课也比较枯燥，当时完全不知道概率论可以用在什么方面，所有听课也就不是那么认真，结果就是期末考试只有70多分（想想当年高数90多线性代数也90······）。然而随着大学毕业，概率论也就离我远去，好像不会再有交集。后来开始“专研”机器学习方面的知识，“朴素贝叶斯”这个名词

决策树是应用最广的归纳推理算法之一，它是一种逼近离散函数方法，对噪声数据有很好的鲁棒性，能够学习析取表达式，广为应用的算法有ID3，ASSISTANT和C4.5。通常决策树代表实例属性值约束的合取（conjunction）的析取式（disjunction）。树根到树叶的每一条路径对应一组属性测试的合取，而整棵树是这些合取的析取。基本的ID3算法是通过自顶向下构造决策树进行学习的。首先考虑的问题是哪一

在我之前的博客中讲到了感知器（感知器），它是用于线性可分模式分类的最简单的神经网络模型，单个感知器只能表示线性的决策面，而反向传播算法所学习的多层网络能够表示种类繁多的非线性曲面。对于多层网络，如果使用线性单元的话，多个线性单元的连接仍然是线性函数，所以还不能表征非线性函数。使用感知器单元，但是它不连续所以也就不可微，不适合梯度下降算法。我们需要这么一种单元，它的输出是输入的非线性函数，而且输出是输

我们可以将预测任务看成是将一些输入映射成输出的过程。将输入分解成一系列特征集合，来形成对学习有用的抽象，因此，输入就是一系列特征值。我们从几何学的角度来看待这些数据，每一个特征是空间中的一个维度，因此每个数据点可以映射成高维空间中的点。把数据集看作是高维空间中的点之后，我们可以在这些点上进行几何运算。比如，假如你想预测同学A是否会喜欢算法这门课程，我们可以找一位与同学A相似的同学B，假如同学B喜欢算

支持向量机是一种通用的前馈网络类型。 主要思想： 给定训练样本，支持向量机建立一个超平面作为决策面，使得正例和反例之间的间隔边缘被最大化。

高斯环境下贝叶斯分类器退化为线性分类器，与感知器形式一样，但是感知器的线性特性并不是由于高斯假设而引起的。贝叶斯分类器：高斯分布下的贝叶斯分类器

导言神经元模型激活函数类型

昨天阅读了《编程珠玑》的算法设计技术这一章，感受颇丰，下面是我对最大子向量做的笔记，但涉及到书本的版权问题，所以就不放书本上的代码了。         当我第一眼看到这个问题的时候，我最先想到也是唯一能想到的算法是像下面这样的，向量的初始化就不给出了。for(int i=0;i<n;i++){ for(int j=i;j<n;j++){ sum+=array[j]

这篇文章同样是关于我读编程珠玑的一些体会与感想

1、利用字符重复出现的次数，

1、确定一个字符串的所有字符是否全都不同

1、一个有环链表，找出环路的开头结点。

最近在学习Python，了解到Python是允许使用多重继承的，与Java的单继承不同。仔细思考之后觉得Python的这种多重继承的设计更为合理些，更接近现实世界。因为我觉得一个物体不能严格的把它归为确定的某一类，拿动物来说，可以分为哺乳和卵生类，又可以分为陆地生物、水生生物、飞禽、两栖类等，这几种归类是在同一级的，比如鸟，属于卵生类，而同时又属于飞禽或陆地生物（比如说鸵鸟），也就是说，一个对

昨天在MyEclipse中，想用一个包替换掉现有的包，手贱把现有的包删了，然后把新的包拷贝进来后，整个包下面的文件的右下角就出现了深红色的叉（不是那种报错形式的红叉），然后发现运行一个简单的Java程序都报错，说找不到或无法加载主类，之后到文件目录下找，果然没有生产class文件，然后就百度上搜寻答案，在百度上找到下面几种解决方法，我先列出来：1、环境变量没有配置好     我打开我的环境

网络结构单层前馈网络、多层前馈网络、递归网络。知识表示知识是人或奇迹存储起来以备使用的信息或模型，用来对外部世界作出解释、预测、和适当反应。知识表示的规则

神经元的统计模型被看作有向图的神经网络

Rosenblatt感知器感知器是用于线性可分模式（模式分别位于超平面两边）分类的最简单的神经网络模型，基本上由一个具有可调突触权值和偏置的神经元组成。Rosenblatt证明了当用来训练感知器的模式（向量）取自两个线性可分的类时，感知器算法是收敛的，并且决策面是位于两类之间的超平面。算法的收敛性称为感知器收敛定理。

一个元素的输出能够部分地影响作用于该元素的输入，从而造成一个或多个围绕该系统进行信号传输的封闭路径时，则动态系统中存在反馈（feedback）。

前几天得知TensorFlow 1.0版本发布了，又一个偶然的机会，知道了国内第一本关于TensorFlow的中文书籍——《TensorFlow实战》，所以买来打算跟着书本学习，这篇文章是为了记录我安装TensorFlow时遇到的问题。书中使用的TensorFlow版本是1.0.0，默认使用Python3.5作为Python基础版本。由于我之前Mac上安装过0.9版本的TensorFlow