Python requests库三个相关实例

内容参考 北京理工大学 嵩天等 Mooc课程————《Python网络爬虫与信息提取》

1. 天猫商品页面爬取
2. 百度/360搜索关键词提交
3. 网络图片的爬取和存储

一、天猫商品页面的爬取

本例以https://chaoshi.detail.tmall.com/item.htm

全部代码：

import requests
url="https://chaoshi.detail.tmall.com/item.htm"
try:
    r=requests.get("https://chaoshi.detail.tmall.com/item.htm")
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])#截取文本的前1000个字符
except:
    print("爬取失败")

二、百度/360搜索关键词提交

搜索引擎关键词提交接口
百度的关键词接口：
http://www.baidu.com/s?wd=keywords
360的关键词接口：
http://www.so.com/s?q=keywords

百度搜索全代码

import requests
keyword="python"
try:
    kv={"wd":keyword}#利用字典将原本URL中的关键词替换成其他的关键词
    r=requests.get("http://www.baidu.com/s",params=keyword)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))#提取信息的具体内容在下节详细学习
except:
    print("爬取失败")

360搜索全代码

import requests
keyword="python"
try:
    kv={"q":keyword}#注意其字典中的关键词与百度中的不同
    r=requests.get("http://www.so.com/s",params=keyword)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))#提取信息的具体内容在下节详细学习
except:
    print("爬取失败")

三、网络图片的爬取和存储

网络图片链接格式：
http://www.example.com/picture.jpg

图片爬取和存储全代码
URL以https://t1.hxzdhn.com/uploads/tu/202003/9999/b888de47d8.jpg为例

import requests
import os
url="https://t1.hxzdhn.com/uploads/tu/202003/9999/b888de47d8.jpg"
r=requests.get("https://t1.hxzdhn.com/uploads/tu/202003/9999/b888de47d8.jpg")
root="D://pics//"
path=root+url.split("/")[-1]
#split("/")[-1] 和 split("/",-1)的区别
#-1  ：全切  0 ：不切  1：切一刀  （每一块都保留）
#[-1]:将最后一块切割出来    [-2]：将倒数第二块切割出来  （只保留切出来的一块）
try:
    if not os.path.exists(root):
        os.mkdir(root)
        #os.mkdir() 方法用于以数字权限模式创建目录。默认的模式为 0777 (八进制)。
        #如果目录有多级，则创建最后一级，如果最后一级目录的上级目录有不存在的，则会抛出一个 OSError
    if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)#r.content返回二进制形式的数据
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("爬取失败")

split("/")[-1] 和 split("/",-1)的区别(详细）