![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
T-Birds
cmf老公
展开
-
python3 用requests、BeautifulSoup库爬取小说
以爬取某小说网为例,爬取小说《女总裁的全能兵王》 要引用库requests、BeautifulSoup import requests from bs4 import BeautifulSoup 进入目录https://www.17k.com/list/1741975.html 寻找html上对应章节的url 代码 import requests from bs4 imp...原创 2019-09-01 02:46:46 · 1524 阅读 · 0 评论 -
python3 爬取代理IP--代理池
#!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests,threading,datetime from bs4 import BeautifulSoup import random """ 1、抓取西刺代理网站的代理ip 2、并根据指定的目标url,对抓取到ip的有效性进行验证 3、最后存到指定的path """ # --...转载 2019-09-02 22:39:05 · 316 阅读 · 1 评论 -
python3 爬取图片--简单的爬取中关村壁纸
爬取代理IP:https://blog.csdn.net/weixin_36634753/article/details/100413094 用上一篇脚本爬取代理IP写入文本; config/cfg.ini配置文件配置代理IP的地址 [File-Path] ipFilePath = D:\CODE\pyWordSpace\ip2.txt [TEST] test = test 读取配置...原创 2019-09-02 22:48:58 · 285 阅读 · 0 评论