爬虫
雷姆天下第一
ヾ(❀╹◡╹)ノ~
展开
-
python简单爬取斗图图片(自学第十天)
一、前期准备 (一).我们要爬取的页面 1,我们要爬取的网站为:https://www.doutula.com/photo/list/?page=1 2,获取请求头,来模拟浏览器浏览,不让网站直接就暴露我们是python,怎么获取请求头呢,很简单,按f12(右键检查) 很好,你已经会了请求头,那么现在就开始用工具把。 3,所以我们前期的代码是这样的: def get_url(url): #我们的请求头信息 headers = { 'User-Agent': 'Mozil原创 2020-05-19 16:59:05 · 426 阅读 · 0 评论 -
python使用requests和正则表达式简单爬取糗事百科的搞笑段子
一、熟悉你要爬取的页面 1,按键盘上的:F12 打开 2,选择All刷新界面,F5刷新。 3,复制下面的 Request URL的数据 也就是我们要访问的url地址; 4,获取页面的请求头 前段代码如下: import requests import re url = 'https://www.qiushibaike.com/text/' headers = { ...原创 2020-05-06 17:15:45 · 546 阅读 · 4 评论