半期学习总结

首先，我们在大二上半期也对大数据有一些学习，与了解，上学期学习了hadoop，老师也简单介绍了Spark，想好学习好大数据是一个很枯燥的过程，需要在上面多花时间，多学习，这样才会学好，也要根据时代的发展来，学习需要及时更新。

这学期我们换了一个，第一门课上就与我们中英文交流，我想这样不仅让我们对大数据有兴趣同时也让我们对英语有看很大的学习。老师上课很细，讲课也让人易懂，我们遇到问题老师也很耐心细心的为我们解答疑难。

现在华卫老师上了我们班的课半年多了，不仅教会我们学习大数据的东西，还教会平时在为人处事的事情，平时我们班学生比较内向不好意思问问题这些，课后老师会在班群里面发一些相对于的例子话语这些来让我们在其中得到启示。半年多来，华卫老师无一节课上是没有用中英文来与我们交流的，英文交流方面让我启示最大的是让我对英语更加的有兴趣，一般我们上课签到，老师都是英文方式说出这个图型的编码，我从最开始只能画出前一二个数字以来，到现在能在班上第一个签到成功。我想这就是老师的用中英文结合上课的初衷。中英文上课也是老师的特色。

在自己本专业的学习上，一步一步跟到老师的步伐来，有一次学校比赛，然后我们那个时候的那个环境这些都是学校内网上面的虚拟机上，有一次比赛那个就被清空了，所以之前做的也就都没有了，那个时候是有那么点失望了，因为之前一直跟着老师步伐来，没有出错误这些，但是学大数据就是这样的总有一些东西会这样的，只有不断的去重复操作，这样才会记忆犹新，只有不断的训练报错，然后解决问题，这样才会成长，这样才会不断的提高自己的解决问题的方法。

我们这学期前期主要学习的是Spark。

Spark简介：

1. Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在某些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持一组丰富的高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。
2. Spark作为下一代大数据处理引擎，现已成为当今大数据领域非常活跃、高效的大数据计算平台，很多互联网公司都使用Spark来实现公司的核心业务，例如阿里的云计算平台、京东的推荐系统等，只要和海量数据相关的领域，都有Spark的身影。Spark提供了Java、Scala、Python和R的高级API，支持一组丰富的高级工具，包括使用SQL进行结构化数据处理的SparkSQL，用于机器学习的MLlib，用于图处理的GraphX，以及用于实时流处理的Spark Streaming。这些高级工具可以在同一个应用程序中无缝地组合，大大提高了开发效率，降低了开发难度。

学会了在私有云上面创建与配置虚拟机，认识了Spark,搭建Spark单击版环境，搭建了Spark伪分布环境。