SpringBoot构建大数据开发框架

为什么使用SpringBoot1、web工程分层设计，表现层、业务逻辑层、持久层，按照技术职能分为这几个内聚的部分，从而促进技术人员的分工2、需要各种XML配置，还需要搭建Tomcat或者jetty作为容器来运行，每次构建项目，都需要经历此流程3、一个整合良好的项目框架不仅仅能实现技术、业务的分离，还应该关注并满足开发人员的“隔离”springBoot是什么Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架致力于实现免XML配置，提供便捷，独立的运行环境，实现“一键运行”满足快速应用开发的需求。从而使开发人员不再需要定义样板化的配置。从根本上讲，Spring Boot就是一些库的集合，它能够被任意项目的构建系统所使用。它的优点使编码变得简单spring boot采用java config的方式，对spring进行配置，并且提供了大量的注解，极大地提高了工作效率。使配置变得简单spring boot提供许多默认配置，当然也提供自定义配置。但是所有spring boot的项目都只有一个配置文件：application.properties/application.yml。用了spring boot，再也不用担心配置出错找不到问题所在了。使部署变得简单spring boot内置了三种servlet容器：tomcat，jetty，undertow。所以，你只需要一个java的运行环境就可以跑spring boot的项目了。spring boot的项目可以打成一个jar包，然后通过java -jar xxx.jar来运行。（spring boot项目的入口是一个main方法，运行该方法即可。 ）使监控变得简单spring boot提供了actuator包，可以使用它来对你的应用进行监控。它主要提供了以下功能：构建整合spark

现在很多人对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展。想深入了解学习、转行的读者老爷，可以加小编微信wxid_xqfxr9vsujsb22

准备了大量干货分享给大家，并邀请了清华大学毕业的资深大数据开发工程师为大家答疑解惑，给大家分享目前国内最完整的大数据高端实战实用学习流程体系。

Scala版本demoobject WordCount {def main(args: Array[String]): Unit = {/**第一步:创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息例如说通过setMaster来设置程序要连接的Spark集群的Master的URL如果设置为local，则代表Spark程序在本地运行，特别适合于配置条件的较差的人*/val conf = new SparkConf()//设置应用程序的名称，在程序运行的监控界面可以看到名称conf.setAppName("MyFirstSparkApplication")//此时程序在本地运行，无需安装Spark的任何集群conf.setMaster("local")/**/创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息*/val sc = new SparkContext(conf)/**第三步:根据具体的数据来源（HDFS，HBase，Local FS（本地文件系统） ，DB，S3（云上）等）通过SparkContext来创建RDDRDD的创建基本有三种方式，根据外部的数据来源（例如HDFS），根据Scala集合，由其他的RDD操作产生数据会被RDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴*///文件的路径，最小并行度（根据机器数量来决定）val lines= sc.textFile("D://hadoop//spark-2.2.0-bin-hadoop2.7//README.md", 1)//读取本地文件，并设置Pa