7.3 相关配置

最新推荐文章于 2022-04-13 11:57:52 发布

lwen.steven

最新推荐文章于 2022-04-13 11:57:52 发布

阅读量193

点赞数

分类专栏：从头开始学Java数据采集

未经博主同意，禁止转载。

本文链接：https://blog.csdn.net/Jgx1214/article/details/107054604

版权

48 篇文章 8 订阅

订阅专栏

在程序7-1中，使用Site类中的方法配置了网页的重试次数和页面请求之间的时间间隔。查看Site类的源码可以发现，它还可以配置网络爬虫的其它信息。

1.循坏重试次数
为防止某些网络原因导致URL请求失败，WebMagic加入了循环重试机制。该机制会将请求失败的URL重新加入到待请求URL队列的尾部，继续请求，直到达到重试次数。为实现这个机制，需要调用Site类的setCycleRetryTimes()方法，该方法使用示例如下所示。

Site site = Site.me().setCycleRetryTimes(3);

2.超时时间
Site类中的setTimeOut()方法用于设置超时时间，单位为毫秒，默认超时时间为5000毫秒，该方法使用示例如下所示。

Site site = Site.me().setTimeOut(3000);

3.头信息
Site类中的addHeader()方法用于设置请求头信息，该方法使用示例如下所示。

Site site = Site.me().addHeader("Connection","keep-alive").addHeader("Host","www.nmpa.gov.cn");

4.Cookie
Site类中的addCookie()方法用于添加Cookie信息，该方法使用示例如下所示。

Site site = Site.me().addCookie("_gscu_515232071","87336172t121kq10").addCookie("security_session_verify","16f11f26eda569644c36582d26e72311");

5.User-Agent
Site类中使用setUserAgent()方法用于设置User-Agent，该方法使用示例如下所示。

Site site = Site.me().setUserAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36");

6.编码
Site类中使用setCharset()方法用于设置编码，该方法使用示例如下所示。

Site site = Site.me().setCharset("utf-8");

关注