爬虫基本常识

本文介绍了Python爬虫的基本知识,包括GET和POST请求的区别、请求头与IP查看、URL编码与解码、动态与静态页面抓取。还讨论了响应的处理、数据类型转换、XPath与BeautifulSoup的使用,以及编码问题的解决方法。
摘要由CSDN通过智能技术生成

地址栏发送的请求永远都是GET请求
POST一定有表单数据
request: 对象
requests: 模块

isinstance: 判断解析结果类型

例:isinstance(params,dict)

empty():判断队列里是否有值

例:if not self.request_queue.empty(): # 判断队列里是否有值
return self.request_queue.get()

upper() 用户输入转为大写

例:if request.method.upper() == “GET”: # 用户输入转为大写

selenium里发送的所有的字符串操作都是Unicode,给数据是Unicode,返回数据也是Unicode
端口:
MySQL 3306
Redis 6379
MongoDB 27017
Fiddler、Charles 本地代理服务器 127.0.0.1:8888

response 的三种取值方式:
-1. response.content
-2. response.text
-3. response.json()

httpbin.org/he

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值