java 爬虫大型教程（一）

java 爬虫大型教程（一）

写在开始前，既然是大型教程，那就从最初始的环境变量开始搭建说起。

电脑环境:我的电脑是macbook pro，因此系统环境变量配置是和Windows不一样的，如果你的电脑是Windows系统，可以百度下相关环境变量配置。

爬虫框架:使用的是webmagic，这是国内不错的爬虫框架，借鉴于python的scrapy框架。

Java环境搭建

首先提一句，从2019年1月开始更新的版本，jdk8 u201开始对公司用户来说是收费的！！！因此如果你的公司没有向oracle申请购买的话，一定要使用jdk8 u191及其以下的jdk版本，不然oracle是可以告你的公司的哦。当然，如果你是个人学习用的话，那就随便了。

首先我列一下jdk8 u191的下载地址，记得保存好。地址：

https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

Java的下载安装配置就不说了，实在太基础了，安装成功后.

MacBook-Pro:~ duke$ java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

maven环境搭建

1.下载安装包

官方下载地址：https://maven.apache.org/download.cgi

如图:

2.解压指定位置

你可以把maven解压至任何地方，这里我把maven放在了/Users/duke/Documents/Software 这个文件夹里，解压命令不需多言。

我只简单的描述一下maven，Java程序运行需要各种各样的jar包，你可能要费心费力的去处理jar包和环境配置问题，但是使用maven就可以解决这个问题。如果你使用过git，就知道代码首先是要commit本地仓，然后在push到git远程仓。maven是相同的道理，它会有个本地仓，如果java代码中使用了相关jar包，会首先在本地仓寻找，如果没找到，会向远程仓请求，下载到本地仓供使用。

3.环境配置

① 打开终端 ，输入vim ~/.bash_profile
② 输入i进入编辑模式，然后输入 Maven 的环境变量
export M2_HOME="/Users/duke/Documents/Software/apache-maven-3.6.0"
export PATH="$M2_HOME/bin:$PATH"
③ 编辑完后，按 esc 退出编辑，并输入 :wq 保存并退出。
④ 输入 source ~/.bash_profile 使环境变量生效。
⑤ 输入 mvn -v 查看 Maven 否安装成功。

4.更换maven下载源

① 用IDEA或Eclipse打开/Users/duke/Documents/Software/apache-maven-3.6.0/conf/settings.xml
② 找到mirrors元素(150行左右)， 在它里面添加子元素mirror
<mirror>
      <id>nexus-aliyun</id>
      <mirrorOf>*</mirrorOf>
      <name>Nexus aliyun</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>