大数据和企业级开发期末总结

一、Java企业级开发中学到的东西了解到的知识

本学期学习了很多的框架包括Spring、SSM、Spring Boot以及MyBatis框架是非常重要且广泛应用的技术栈。

• Spring框架： Spring 是一个轻量级的IoC 和AOP 容器框架，可以帮助你更快速地构建企业级应用程序。它可以通过依赖注入（DI）来管理对象之间的依赖关系，并提供了一个面向切面编程（AOP）的机制来处理横切关注点，比如日志记录、事务管理等。Spring还提供了一些其他功能，如集成Web、数据访问等。

• SSM框架： SSM（Spring + Spring MVC + MyBatis）是一种流行的Java Web框架组合，它将Spring、Spring MVC和MyBatis结合在一起，从而形成了一个全功能的Web应用程序框架。Spring MVC提供了一个强大的MVC框架，MyBatis则提供了一个强大的ORM解决方案，使得开发者可以轻松地访问数据库，并进行对象映射。此外，由于Spring框架的存在，SSM还能够实现基于IoC容器的依赖注入，从而使得应用程序的可扩展性更强。

• Spring Boot框架： Spring Boot是一种基于Spring框架的快速开发框架，它提供了一个快速配置和部署Spring应用程序的方式。Spring Boot通过自动配置（Auto Configuration）来减少代码量和配置文件，并支持诸如内嵌式Tomcat Web服务器、嵌入式数据库等功能。这样，我们可以将精力集中在业务逻辑上，而不必过多考虑底层技术实现细节。

• MyBatis框架： MyBatis是一种优秀的数据访问框架，它提供了一种简单易用的ORM解决方案，支持动态SQL语句和存储过程调用。MyBatis使用XML或注解配置，将Java对象映射到数据库表中，从而为开发者提供了更加灵活的操作方式。此外，MyBatis还提供了缓存机制，并支持二级缓存和本地缓存。

总的来说，这些框架的结合可以帮助开发者快速构建企业级应用程序，提高工作效率。并且通过本学期的学习能自主的可以由以上任何框架搭建一个项目，配置运行环境，并且完成一个简单地项目，接下来是突破更难的项目，实现更加复杂的功能

二、Spark大数据处理中学到的东西了解到的知识

本学期对spark的学习主要从以下几个模块展开：

• Scala 语言基础
  Scala 是 Spark 主流编程语言，掌握 Scala 基础对学习 Spark 至关重要。Scala 具有函数式编程特性和面向对象编程特性，通过掌握 Scala 编程语言，可以更好地理解和使用 Spark。

• Spark 基础
  Spark 是一个分布式计算框架，包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX 等组件。学习 Spark 基础知识是学习大数据处理的第一步，需要了解 Spark 的编程模型、RDD 弹性分布式数据集等概念。

• Spark RDD 弹性分布式数据集
  RDD （Resilient Distributed Datasets）是 Spark 中的核心概念之一。RDD 具有弹性特性、分布式存储、分区和并行计算等特点。掌握 RDD 操作和转换方法，能够更好地进行大规模数据处理。

• Spark SQL 结构化文件数据处理
  Spark SQL 提供了一种在 Spark 上进行结构化数据处理的方式。它支持 SQL 语言、DataFrame API 和 Dataset API 等多种方式，可以用于处理各种类型的数据，并且具有高性能和高扩展性。

总之，Spark 大数据处理是当前非常热门的技术，并且在实际生产环境中得到了广泛应用。通过学习 Scala 语言基础、Spark 基础、Spark RDD 弹性分布式数据集和 Spark SQL 结构化文件数据处理等知识，可以更好地掌握 Spark 大数据处理技术，开发出高效、稳定、可扩展的大规模数据处理系统。
经过本学期的学习，我能自己搭建配置Scala，spark的环境，能用集中启动方式启动spark集群，也能在集成环境中写spark项目，利用spark对数据进行处理。