学习总结

    

半期总结

  这学期是我们第一次上华卫老师的课，华卫老师上课很有趣，通常都是中英文结合，不仅带我们学习专业，还交我们学习了英语，经常在课堂上学习到许多英语单词，而且华卫老师学识很渊博，告诉了我们很多道理和更多我们没有了解过的东西。

  大数据这门课程我们上学期也学习了一学期，学到了一点东西，但是到这学期来一样有很多东西不会，最开始还能跟上老师的节奏，但还是会出现一些问题，就比如搭建虚拟机配置环境变量，之前学习的时候也是在这里出现了问题，后来自己慢慢找，慢慢的对照文档就把问题找出来并且解决了，这学期出现了不同的问题，所以就导致后面开始跟不上老师的节奏，不过华卫老师每次上课都会写讲稿，把自己讲的内容截图并且写在博客上面，我们没有跟上的也可以跟着老师的讲稿一步步做，然后跟上老师的节奏。华卫老师的讲稿写的非常的详细，讲稿里面不仅仅只有老师上课的内容，还有我们可能遇到的问题以及解决的方法，我们真的应该学习华卫老师，可以随时把自己做的内容记录下来，下一次需要的时候再拿出来，能够锻炼自己整理归纳的能力，并且能养成一种好习惯。

  大数据学习是一个漫长的过程，只是在课堂上学习知识远远不够，这一点真的是深有体会。这学期在学习大数据的过程中，课后没有好好学习，也没有认真的解决过自己出现的问题。在配置虚拟机的时候，在master上配置了需要配置的文件，然后分发到各个节点，直到格式化的时候也没有出现问题，但是启动的时候还是出现了错误。还学习了spark、scala，Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。