- 博客(3)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 requests库的应用：发送参数的get请求
requests库是我学习爬虫认识的第一个库，真的太喜欢这个库了应用很方便，它有许多的方法，比如get,post,del,等等。其中get方法是用的最多的，get方法可以直接请求，也可以添加参数到url里面只要找到关键字的接口，比如向百度提交csdn关键字，网址后面出现了一个s？wd=csdn,那么关键字接口就是wd，csdn是我们提交的关键字。在代码里面关键字接口和搜索词需要以键值对的形式提交到URL中。百度安全验证https://www.baidu.com/s?wd=csdn看一个实例：向百度提交pyt
2021-10-20 11:28:38
463
原创 爬虫实例：正则表达式爬取微博热搜榜
最近在学习python的爬虫知识，分享一个爬取微博热搜的实例，代码很简单。用到了requests，re，xlwt库直接看图：#1导入模块import requestsimport reimport xlwt#2定制请求头url="https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6"headers={ "user-agent":"" ,"Cookie":""}#3获取网页数据
2021-10-20 10:28:27
1600
2
原创 如何用request库快速爬取百度首页
requests库是用来在python中发出HTTP请求的，它有很多方法最常用的是get方法，接下来我们通过爬取百度首页这么一个简单的实例来操作一下，首先导入requests库，接下来用get方法访问百度首页，然后可以查看返回的状态码，返回的内容，等等内容，注意为了防止乱码一点要把编码设定为utf-8，这就是一个最简单的用requests库进行的爬虫案例了。import requeststry: r=requests.get("https://www.baidu.com")#请求访问网站
2021-10-14 16:16:30
3226
doubanmovie.py
2021-10-14
爬取下载原图按钮下的链接，结果为空
2021-11-28
爬取百度网页标题时，无法提取出完整的一条文字
2021-11-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人