这个项目呢 主要分为两个部分 爬虫(Spider)和Web两方面(web主要是进行数据分析做出报表是数据更可观)
一、 进行jdk安装及环境变量的配置
由于是基于java的项目 所以先进行jdk的相关安装及配置:
1,本次使用的是jdk1.8(当然了 也可以使用其他的版本)
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html进入这个地址即可进行相应的下载
2,下载完成之后进行解压,解压到一个没有中文和空格路径的目录下
3,配置环境变量
打开我的电脑 右键属性找到高级设置,右下角有环境变量打开即可进行设置,
在系统变量 点击新建 然后输入变量名以及变量值
变量名: JAVA_HOME
变量值 :JDK的解压目录
例如
然后找到系统变量中的path 双击打开 然后右侧栏点击新建 然后再点击浏览找到jdk目录下的bin目录
如图这样 就已经完成了
然后点击确定 应用 即可
然后验证是否安装成功按住win+r 然后输入cmd 进入命令行 输入java -version 如果如图显示 就证明你就已经配置成功了
二 、下载IDE(集成开发环境) (这里我用的是Eclipse)
进入官网即可下载http://www.eclipse.org/downloads/
我这里下载的是Mars 版本 但要注意的是 要下载ee 不要下载se
然后解压并启动
这个是让你选择工作空间 ,选择以后你的所有的项目都会保存在这个文件夹下
2,打开以后进行基本的配置
在菜单栏上有个Windows 点开 然后点击preference 输入work 点击workspqce 将编码方式设置为UTF-8
进行到这里以后我们就可以写出一个基本的Java程序了 但我们的spider是基于maven的所以我们还要进行配置maven依赖工具
三、 创建maven 依赖工具
1,下载 解压http://mirrors.shu.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.zip
点击 即可进入官网下载
2,配置环境变量 和上面类似
M2_HOME = 解压目录
在path下新建然后浏览 找到解压目录下的bin
然后打开命令行进行验证看是否成功 输入mvn -v 若显示如下 则成功
2,配置maven
Mave会从中心仓库下载所需要的依赖包,放到本地(由于服务器在国外 下载过程可能会较慢)
找到解压目录下的config 文件夹 打开 然后打开里面的settings.xml文件,然后将它放到你的c盘user文件夹下的你的用户名的.m2的文件夹下 例如C:/user/wangjian/.m2/settings.xml (若没有.m2 文件夹 请创建 此时要用命令行来创建,打开cmd 然后输入mkdir .m2 然后文件夹就创建好了)
然后用notepad++ 打开这个settings.xml文件 并修改参数 如图 (notapade++ 百度即可找到 或者其他工具打开也可以 )
刚开始是这样的 然后修改如下:那个黑字部分 就是下载的依赖所保存的地方 黑字部分是路径 你要自己设置你自己的哦!
然后呢我们就在Eclipse 中集成maven
还是菜单栏的Windows下的 Preferences 然后如图 输入maven