Java-网页爬虫

完整文章地址

idea基本设置

File>Setting打开idea基本设置，可以更改字体主题，安装插件等

建议安装中文翻译插件和Codota插件

idea创建项目

1.参考文章

IDEA新建一般Java项目

语言版本和环境版本不一致导致错误：Error:java: 无效的源发行版

2.注意事项

（1）配置

新建一般Java项目时，一般选择默认配置进行

（2）打开项目

打开的项目文件时，文件结构如下，文件路径多出一层或少一层文件，idea都不能识别出该项目（程序文件都要放到src文件中）：

（3）配置修改

项目结构（文件 > 项目结构）中可以修改项目的一些配置（可设置项目，模块的语言级别）

（4）标记目录

标记目录可以自定义源根目录等，一般不改动，默认src为源根目录

（5）添加Maven框架

在Java一般项目中没有meavn的选项，可以在后期加上Maven框架支持

添加了Maven框架后，还需要重新加载Maven项目即可完成框架添加

配置meavn

1.参考文章

Meavn配置过程

依赖添加错误

手动添加jar包

2.注意事项

（1）maven配置

idea有自己自带的maven，如果想自定义到自己下载的maven文件，可以在设置中修改（这样的修改只是针对该项目，新建的项目还是使用默认的maven）

• 设置主目录
• 用户设置文件指向maven的setting文件
• 可以新建一个文件用于存储本地库

（2）Meavn创建项目

除了在一般项目创建后再添加Maven框架，我们也可以直接使用Meavn框架创建项目

区别于一般的Java项目，使用Meavn框架创建的会在src新建两个文件夹：main（放主程序）和test（放测试程序）

（3）meavn添加包

• 通过pom.xml添加依赖

在pom.xml文件中添加<dependency></dependency>标签，如下

<dependency>
    <groupId>org.apache.maven.plugins</groupId>
     <artifactId>maven-compiler-plugin</artifactId>
     <version>3.6.1</version>
 </dependency>

要注意要是在<dependencies></dependencies>内添加依赖

我们可以通过Maven Repositor查找对应包的依赖项xml文本

最后加载Maven包变更完成依赖项的添加

• 手动添加jar包

meavn找不到相关包时，可以直接下载jar文件到本地包，放在刚刚设置Maven本地库存储文件中，然后使用maven导入

爬虫配置

1.参考文章

WebMagic 文档

出现log4j警告解决方法

出现了SLF4J的报