学习爬虫（第三天）

urllib模块

• GET 特点 ：查询参数在URL地址中显示
  用urllib模块get爬取百度贴吧的练习
  方式一（普通）：
  方式二（函数）：
  方式三（面向对象）：

• POST

  • 在Request方法中添加data参数
  • urllib.request.Request(url,data=data,headers=headers)
  • data ：表单数据以bytes类型提交,不能是str
    用urllib模块的post模拟有道翻译的练习
    

requests模块

安装

• pip install requests
• 在开发工具中安装

requests.get（网址）

响应对象response的方法

• response.text 返回unicode格式的数据(str)
• response.content 返回字节流数据(二进制)
• response.content.decode(‘utf-8’) 手动进行解码
• response.url 返回url
• response.encode() = ‘编码’

requests模块发送 POST请求

用requests模块的post模拟有道翻译的练习

小知识：
1.range（）可以让两个数的中间的数也可以一起进行for （1,3中间有2 range可以让123一起进行for）
2.range（）是左包右不包型 所以呢如果想要把右边的数字也加进来就要 +1
3.requests模块的post一般不用字节，而urllib模块的post有的时候就会需要字节了
4.bytes（）只能把字符串改成字节
功能函数
json.loads（）：可以让字符串变字典
bytes()：可以让字典变成字节
urllib.parse.urlencode()：把字典改成字符串