目录:
一、urllib模块
二、requests模块
三、请求模块中的一些关键参数总结
四、数据提取
一、urllib模块
1.urllib.request模块
在python2的版本中,有urllib2、urllib两个模块;到了现在的python3版本中,已经把urllib和urllib2合并成为了urllib.request模块。
下面是几种常用的方法:
向网站发起一个请求并获取响应:urllib.request.urlopen(“网址”) ; 需要注意到的是,urlopen()不支持重构User-Agent,这就要我们将请求头等信息放入urllib.request.Request(“网址”,headers=“字典”) 来完成。
对于GET方式:查询参数在URL地址中显示。
对于POST 方式,需要在Request方法中添加data参数。urllib.request.Request(url,data=data,headers=headers) ,其中data表单数据以bytes类型提交,不能是str。
读取服务器响应的内容:response.read()
针对响应内容,getcode() 是返回HTTP的响应码;geturl() 是返回实际数据的URL(防止重定向问题)。
解决响应内容中的乱码问题:response.read().decode(“utf-8”)
2.urllib.parse模块
在我们请求某个网站的时候,如果对某一中文关键词进行搜索,会发现URL中会出现相应的%加 十六进制码进行的编码。这样在请求时,就要通过urllib.parse.quote()来进行相应的转码,从而将URL地址完善。
二、requests模块
1.requests的常用方法
1.1 请求方法
requests.get(‘网址’)
requests.post(‘网址’)
关于两种请求方法的详细参数,在urllib模块已经介绍。
1.2 响应对象方法
response.text 返回unicode格式的数据(str),在获取文字信息时常用
response.content 返回字节流数据(二进制),在获取视频、音频时常用
response.content.decode(‘utf-8’) 手动进行解码
response.url 返回url
response.encode() 编码
三、请求模块中的一些关键参数总结
四、数据提取
1.数据提取
简单来说,数据提取就是从响应中获取我们想要的数据的过程
2.数据分类
非结构化数据:HTML
处理方法:正则表达式、xpath
结构化数据:json、xml
处理方法:转化为Python数据类型
3.数据提取之json
由于把json数据转化为python内建数据类型很简单,所以爬虫中,如果我们能够找到返回json数据的URL,就会尽量使用这种URL。
json是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前台与后台之间的数据交互。
注意:json中的字符串都是双引号
第一篇:Python入门要点,环境搭建、安装配置、第三方库导入方法详细过程!建议收藏
第二篇:Python爬虫新手入门(一)了解爬虫!
最近在知乎上创建了一个新的Python技术圈子,在里面每天都会分享好玩有趣的Python知识,你如果对Python这门技术感兴趣的可以加入哦!交个朋友
Python技术 - 知乎www.zhihu.com