- 博客(3)
- 收藏
- 关注
RSS订阅原创 多线程爬取必应壁纸保存到本地
###首先打开必应壁纸我们可以发现它的网页构造十分简单，不过我们无法直接按f12打开开发者面板，很简单，只需要把鼠标放在浏览器网址栏，在按f12就可以打开开发者面板啦！###必应不同页数的网址变化规律也十分简单，直接一个for循环就可以获取所有的页面链接，我采用的是多线程爬取的方法：首先定义两个队列存储页面链接和页面内的图片链接：def main(): pageQueue=Queue(177) wpQueue=Queue(1000)#循环获取每页的URL&nb
2022-01-07 18:09:05
3114
1
原创 python 爬虫 爬取b站视频排行 并保存到mysql数据库
# @Time: 2021/7/14 17:49# @File : main.pyimport datetimeimport timeimport requestsfrom lxml import etreeimport pymysqlfrom pymysql.err import Errortime_today = time.strftime("%Y-%m-%d", time.localtime()) # 本地时间month = datetime.datetime.now().mon.
2021-07-14 22:16:49
997
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人