![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫学习
SoraShim
这个作者很懒,什么都没留下…
展开
-
requests库的几个小例子
Requests库的几个例子例子1. 爬取亚马逊某商品页信息import requests url = "https://amazon.cn/gp/product/B01M8L5Z3Y"try: kv = {'user-agent':'Mozilla/5.0'} r = requests.get(url,headers = kv) r,raise_for_status() r....原创 2020-01-03 10:23:26 · 337 阅读 · 0 评论 -
BeautifulSoup学习笔记
BeautifulSoup学习笔记安装pip install beautifulsoup4 # 如果不加4 默认安装的版本是beautifulsoup3使用from bs4 import BeautifulSoup4例子htm = """<div> <ul> <li class="item-0 item-12" class=...原创 2019-12-23 12:08:12 · 190 阅读 · 0 评论 -
lxml库和Xpath语法
lxml库lxml库的安装pip install lxmlxpath 语法父节点子节点平行节点 / 从根节点选取 // 从根节点开始匹配,而不考虑它们的位置。 /text() 选取文本 @ 选取属性s from lxml import etree respons...原创 2019-12-20 23:30:02 · 302 阅读 · 0 评论 -
常见状态码
假设response是requests请求得到的对象,通过response.status_code可以查看此次相应的状态码,这里记录一下常见的状态码:状态码意义200**“OK” ** 请求成功301"Moved Permanently" 请求的资源被转移400"BAD Request"实体中的文档是一个错误消息404"Not Fo...原创 2019-12-12 16:21:29 · 273 阅读 · 0 评论 -
认识HTTP请求
认识HTTP请求什么是HTTP请求我们可以简单地把HTTP请求理解为从客户端到服务器端的请求消息。也就是说,无论是真正的一个人还是一个爬虫,当希望从服务器请求服务或信息时,就需要首先向服务器端发出一个请求,然后服务器返回响应,最后连接关闭,这就是Web服务的流程。Http请求信息请求方法请求头部请求正文请求方法get请求指定的页面信息,并返回实体主体。post向指...原创 2019-12-12 15:41:29 · 134 阅读 · 0 评论