Spring Boot + Java爬虫 + 部署到Linux （一、环境配置，新建一个Spring Boot项目）

    最近接触了Spring Boot这个框架，感觉既方便又简单，相比于之前的SSM(H)，需要的配置变少了很多，很多变成约定好的默认的配置即可。然后就想用Spring Boot开发一个Web网站，功能就是一个图片爬虫，然后将爬下来的图片提供打包下载，最后将其部署到一台Linux(CentOS7)服务器上。

    如果是只想了解Java爬虫也是可以的，爬虫是相对独立的一部分。当初这个爬虫是我用python写过一次，其实当时想用Java来着，结果去搜了一下，感觉Java好复杂，python却很简单。现在发现有一个httpclient的包，很方便好用，而且都用Java来写比较统一、方便管理调度。

    网站支持代理、登录验证、cookie设置、websocket、nginx动静分离之类的，其实业务功能相当的简单，主要是为了学习和练习，以及方便我爬图片。因为有的网站就很烦，一个图集几十上百张图，却不提供打包下载功能。难道要手动一张一张的点击和右键吗？我做的这个爬虫，一次就爬一个图包，当然也可以做成一次爬多个或者分布式爬取，这样效率就更高了。但是由于时间和精力的关系，很多可以补充和完善以及许多的不足也没办法了... ...

    首先的准备工作就是一台正常的PC机+Windows系统，还要有一点Java、Sql、Linux、前端以及Spring MVC的知识。一开始就要配置环境，首先下载jdk，要求版本要1.8以上。这个直接百度在官网就可以下载了，安装完毕之后然后配置环境变量即可。IDE（集成开发环境）我用的是Eclipse，因为用习惯了，也可以用IDEA。还需要下载的一个重要的工具就是Maven，Maven 是专门用于构建和管理Java相关项目的工具。Maven是意第绪语，依地语（犹太人使用的国际语），表示专家的意思。 所以用Maven管理Java 项目，你就是专家了。这些在搜索官网就可以下载了，Maven也配置一个环境变量，方便使用。

    Maven的一个重要概念就是仓库，仓库是放jar包和其源码的地方。maven采用一个仓库，多个项目的方式，让多个项目共享一个仓库里的相同jar包。这样很方便又不浪费资源。仓库的默认位置是${user.home}/.m2/repository。user.home就是C盘你的电脑用户的文件夹，但是放C盘可能不太好，所以我们修改一下仓库的位置。打开Maven的安装目录，然后打开里面的\conf\settings.xml