python爬虫学习笔记(一)

这篇博客介绍了Python爬虫的一些常用方法,包括响应内容的读取、状态码获取、URL编码解码,以及如何爬取图片并保存为本地二进制格式。此外,还提到了爬取一页搜索页的基础步骤。
摘要由CSDN通过智能技术生成

常用方法

  1. print(response.read()) 读取内容,内容为字节类型
  2. print(response.readlines()) 按行读取,内容为字节类型
  3. print(response.getcode()) 获取状态码
  4. print(response.getheaders()) 获取头部信息
  5. print(response.geturl()) 获得当前的url
  6. print(response.read().decode()) read读取的数据是二进制,decode:二进制转utf-8(无参数默认)或者gbk
  7. url只能由特定得字符组成,字母、数字、下划线,如果出现其他的,比如$ 空格 中文等,就要对其进行解码
  8. .urllib.parse.quote(url) url编码函数,主要是将中文进行转化为%XXX
  9. urllib.parse.unquote(url) url解码函数,主要是将%XXX转化为指定字符
  10. urllib.parse.urlencode(data) 给一个字典,将字典拼接为query_string,并且实现了编码功能

爬取图片的两种方法

图片只能写入本地二进制格式

#图片只能写入本地二进制格式
base_url='图片链接'
1.response
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值