爬虫
文章平均质量分 71
九龙山神马
这个作者很懒,什么都没留下…
展开
-
在windows系统下给火狐浏览器安装驱动的两种方法
最近在学爬虫,要用到selenium对浏览器进行自动控制。需要浏览器对应的driver,因为自己使用的是火狐浏览器,所以在网上找了两种安装方法,亲测都是有效的。具体步骤如下。先去github下载火狐浏览器的驱动,地址为:https://github.com/mozilla/geckodriver/releases并解压方法1因为我使用的Python环境是用anaconda创建的,需要将gec...原创 2020-03-18 09:54:23 · 1828 阅读 · 0 评论 -
xpath小练习,爬取美女图片
import requestsfrom lxml import etreeimport osimport timedir_path = './meinv'if not os.path.exists(dir_path): os.mkdir(dir_path)# 因为第一页的url和后面的不一样,所以这段代码把url进行了处理url_list = ['http://pic.n...原创 2020-03-15 14:59:02 · 153 阅读 · 0 评论 -
使用bs4解析,爬取三国演义
import requestsfrom bs4 import BeautifulSoupf = open('sanguoyanyi.txt', 'w', encoding='utf-8')main_url = 'http://www.shicimingju.com/book/sanguoyanyi.html'headers = {'User-Agent': 'Mozilla/5.0 (W...原创 2020-03-14 17:17:53 · 145 阅读 · 0 评论 -
使用爬虫获取特定城市中肯德基餐厅的信息
import requestsimport timeloc = input('请输入需要查询的地址:')url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73....原创 2020-03-13 19:45:05 · 838 阅读 · 0 评论