springboot 建readme_SpringBoot构建大数据开发框架

为什么使用SpringBoot

1、web工程分层设计，表现层、业务逻辑层、持久层，按照技术职能分为这几个内聚的部分，从而促进技术人员的分工

2、需要各种XML配置，还需要搭建Tomcat或者jetty作为容器来运行，每次构建项目，都需要经历此流程

3、一个整合良好的项目框架不仅仅能实现技术、业务的分离，还应该关注并满足开发人员的“隔离”

springBoot是什么

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架致力于实现免XML配置，提供便捷，独立的运行环境，实现“一键运行”满足快速应用开发的需求。从而使开发人员不再需要定义样板化的配置。

从根本上讲，Spring Boot就是一些库的集合，它能够被任意项目的构建系统所使用。

它的优点

使编码变得简单

spring boot采用java config的方式，对spring进行配置，并且提供了大量的注解，极大地提高了工作效率。

使配置变得简单

spring boot提供许多默认配置，当然也提供自定义配置。但是所有spring boot的项目都只有一个配置文件：application.properties/application.yml。用了spring boot，再也不用担心配置出错找不到问题所在了。

使部署变得简单

spring boot内置了三种servlet容器：tomcat，jetty，undertow。

所以，你只需要一个java的运行环境就可以跑spring boot的项目了。spring boot的项目可以打成一个jar包，然后通过java -jar xxx.jar来运行。(spring boot项目的入口是一个main方法，运行该方法即可。 )

使监控变得简单

spring boot提供了actuator包，可以使用它来对你的应用进行监控。它主要提供了以下功能：

构建

整合spark

Scala版本demo

object WordCount {

def main(args: Array[String]): Unit = {

/**

第一步:创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息

例如说通过setMaster来设置程序要连接的Spark集群的Master的URL

如果设置为local，则代表Spark程序在本地运行，特别适合于配置条件的较差的人

*/

val conf = new SparkConf()

//设置应用程序的名称，在程序运行的监控界面可以看到名称

conf.setAppName("MyFirstSparkApplication")

//此时程序在本地运行，无需安装Spark的任何集群

conf.setMaster("local")

/**

/创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息

*/

val sc = new SparkContext(conf)

/**

第三步:根据具体的数据来源(HDFS，HBase，Local FS(本地文件系统) ，DB，S3(云上)等)通过SparkContext来创建RDD

RDD的创建基本有三种方式，根据外部的数据来源(例如HDFS)，根据Scala集合，由其他的RDD操作产生

数据会被RDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴

*/

//文件的路径，最小并行度(根据机器数量来决定)

val lines= sc.textFile("D://hadoop//spark-2.2.0-bin-hadoop2.7//README.md", 1)

//读取本地文件，并设置Partition = 1 //类型推导得出lines为RDD

/**

第四步:对初始的RDD进行Transformation级别的处理，例如map，filter等高阶函数等的编程，来进行具体的数据计算

4.1:将每一行的字符串拆分成单个的单词

4.2:在单词拆分的基础上对每个单词的实例计数为1，也就是word =>(word,1)

4.3:在每个单词实例计数为1基础之上统计每个单词在文件出现的