Soraa的博客

Requests库的几个例子例子1. 爬取亚马逊某商品页信息import requests url = "https://amazon.cn/gp/product/B01M8L5Z3Y"try: kv = {'user-agent':'Mozilla/5.0'} r = requests.get(url,headers = kv) r,raise_for_status() r....

BeautifulSoup学习笔记安装pip install beautifulsoup4 # 如果不加4 默认安装的版本是beautifulsoup3使用from bs4 import BeautifulSoup4例子htm = """<div> <ul> <li class="item-0 item-12" class=...

lxml库lxml库的安装pip install lxmlxpath 语法父节点子节点平行节点 / 从根节点选取 // 从根节点开始匹配，而不考虑它们的位置。 /text() 选取文本 @ 选取属性s from lxml import etree respons...

假设response是requests请求得到的对象，通过response.status_code可以查看此次相应的状态码，这里记录一下常见的状态码：状态码意义200**“OK” ** 请求成功301"Moved Permanently" 请求的资源被转移400"BAD Request"实体中的文档是一个错误消息404"Not Fo...

认识HTTP请求什么是HTTP请求我们可以简单地把HTTP请求理解为从客户端到服务器端的请求消息。也就是说，无论是真正的一个人还是一个爬虫，当希望从服务器请求服务或信息时，就需要首先向服务器端发出一个请求，然后服务器返回响应，最后连接关闭，这就是Web服务的流程。Http请求信息请求方法请求头部请求正文请求方法get请求指定的页面信息，并返回实体主体。post向指...