爬虫
T-Birds
cmf老公
展开
-
python3 用requests、BeautifulSoup库爬取小说
以爬取某小说网为例,爬取小说《女总裁的全能兵王》要引用库requests、BeautifulSoupimport requestsfrom bs4 import BeautifulSoup进入目录https://www.17k.com/list/1741975.html寻找html上对应章节的url代码import requestsfrom bs4 imp...原创 2019-09-01 02:46:46 · 1573 阅读 · 0 评论 -
python3 爬取代理IP--代理池
#!/usr/bin/env python3# -*- coding: utf-8 -*-import requests,threading,datetimefrom bs4 import BeautifulSoupimport random"""1、抓取西刺代理网站的代理ip2、并根据指定的目标url,对抓取到ip的有效性进行验证3、最后存到指定的path"""# --...转载 2019-09-02 22:39:05 · 342 阅读 · 1 评论 -
python3 爬取图片--简单的爬取中关村壁纸
爬取代理IP:https://blog.csdn.net/weixin_36634753/article/details/100413094用上一篇脚本爬取代理IP写入文本;config/cfg.ini配置文件配置代理IP的地址[File-Path]ipFilePath = D:\CODE\pyWordSpace\ip2.txt[TEST]test = test读取配置...原创 2019-09-02 22:48:58 · 315 阅读 · 0 评论