- 博客(2)
- 问答 (1)
- 收藏
- 关注
原创 爬取豆瓣图书排行
爬取豆瓣图书排行 爬虫新手,边学边用,尝试将豆瓣图书排行爬取下来,使用requests库来获取网页,用xpath选择器筛选需要的信息。 (一)分析豆瓣图书排行URL 先来分析URL,看到这里有我们选的豆瓣图书标签:小说。还有两个参数分别是start和type。简单分析可以得知,start是当前页面第一本书的排行,type是页面的排序方式。其中type参数,T代表页面为综合排序,R代表页面按初版日期排序,S代表页面按评价排序。 (二)分析页面中需要的数据 打开chrome的开发者栏目,找到我们需要的信息,发
2020-08-18 14:18:14 371
原创 python网络爬虫:实现百度热搜榜前50数据爬取,生成CSV文件
使用python爬虫:实现百度热搜榜前50数据爬取,生成CSV文件(一)代码(二)结果 爬虫新手,边学边用,尝试着爬取百度热搜榜前50的数据,将数据以CSV文件格式保存下来,并以爬取时间作为文件名保存。 (一)代码 from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait import csv import datetime u
2020-05-10 21:48:13 2219
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人