AutoVision (by 仙道菜)

【机器学习】K-means聚类算法（理论篇） 本博客是【Spark-Python-机器学习】系列的文章。 该系列的文章主要讲解【机器学习】的一些通用算法的原理，并且使用【Python+Spark】来实现。 文章通常分为上下篇（理论篇 与 实践篇）。 如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50

实验室有4台服务器（8个GPU/台），平日都只使用了其中的一个GPU，实在暴遣天物！于是决定使用docker安装部署Spark集群，将这些GPU都利用起来训练CNN。本文是博主含泪写出的踩坑总结，希望能够给各位提供了一些前车之鉴来避开这些坑。

这篇论文是 Berkeley大学 Michael I. Jordan 组的最新论文。训练深度神经网络是一个非常耗时的过程，比如用卷积神经网络去训练一个目标识别任务需要好几天来训练。因此，充分利用集群的资源，加快训练速度成了一个非常重要的领域。SparkNet 是基于Spark的深度神经网络架构。

Logistic Regression可以说是机器学习的入门算法。不过，你真的有把握能够把LR从头到脚讲一遍吗？你会现场建模，数学推导？你知道它的正则化的作用？你能讲清楚它跟MaxEnt最大熵模型的关系吗？ok，你说这些你都会？那你知道并它的行化怎么做吗？有几种并行化的方式呢？啥？！你说你还会？大神，请受我一拜！

Big Data, Hardware trends, and Spark 本博客是【pySpark教程】系列的文章。 是 Berkeley 的 Python Spark公开课的学习笔记(see 原课程)。 由于个人能力有限，不免有些错误，还望各位批评指正。 更多相关博客请猛戳：http://blog.csdn.net/cyh24/article/category/6

在这个课程中，我们会学习如何编写并且调试Python Spark（pySpark）程序。为了满足大家的需求，我们的软件开发环境是使用Virtual Machine（VM虚拟机）。本文将手把手教你安装该环境。