- 博客(3)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
原创 requests库的应用:发送参数的get请求
requests库是我学习爬虫认识的第一个库,真的太喜欢这个库了应用很方便,它有许多的方法,比如get,post,del,等等。其中get方法是用的最多的,get方法可以直接请求,也可以添加参数到url里面只要找到关键字的接口,比如向百度提交csdn关键字,网址后面出现了一个s?wd=csdn,那么关键字接口就是wd,csdn是我们提交的关键字。在代码里面关键字接口和搜索词需要以键值对的形式提交到URL中。百度安全验证https://www.baidu.com/s?wd=csdn看一个实例:向百度提交pyt
2021-10-20 11:28:38 500
原创 爬虫实例:正则表达式爬取微博热搜榜
最近在学习python的爬虫知识,分享一个爬取微博热搜的实例,代码很简单。用到了requests,re,xlwt库直接看图:#1导入模块import requestsimport reimport xlwt#2定制请求头url="https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6"headers={ "user-agent":"" ,"Cookie":""}#3获取网页数据
2021-10-20 10:28:27 1680 2
原创 如何用request库快速爬取百度首页
requests库是用来在python中发出HTTP请求的,它有很多方法最常用的是get方法,接下来我们通过爬取百度首页这么一个简单的实例来操作一下,首先导入requests库,接下来用get方法访问百度首页,然后可以查看返回的状态码,返回的内容,等等内容,注意为了防止乱码一点要把编码设定为utf-8,这就是一个最简单的用requests库进行的爬虫案例了。import requeststry: r=requests.get("https://www.baidu.com")#请求访问网站
2021-10-14 16:16:30 3415
doubanmovie.py
2021-10-14
爬取下载原图按钮下的链接,结果为空
2021-11-28
爬取百度网页标题时,无法提取出完整的一条文字
2021-11-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人