在初学python爬虫时,第一个自己的爬虫最难写。你时不时会因为这样那样的原因爬取失败。这个案例是我写成功的第一个小爬虫,特别开心。
刚开始写的时候,一切都很顺利。跑一跑,结果却报错,大概是连接不上,连接超时。
所以我就上网找了许多代理ip池案例,都不是我能懂的。最后终于找到一个易懂的案例,改改,就连上我的爬取代码。没想到,还成功了。
需要用到代理ip池的地方主要是爬取每一章的内容,章节较多,频繁访问就会出错。
上图是代理ip池的输出,下面那点就是爬取内容提示
在初学python爬虫时,第一个自己的爬虫最难写。你时不时会因为这样那样的原因爬取失败。这个案例是我写成功的第一个小爬虫,特别开心。
刚开始写的时候,一切都很顺利。跑一跑,结果却报错,大概是连接不上,连接超时。
所以我就上网找了许多代理ip池案例,都不是我能懂的。最后终于找到一个易懂的案例,改改,就连上我的爬取代码。没想到,还成功了。
需要用到代理ip池的地方主要是爬取每一章的内容,章节较多,频繁访问就会出错。
上图是代理ip池的输出,下面那点就是爬取内容提示