Requests库网络爬虫实战

3.1京东商品页面的爬取

import requests
r=requests.get('https://item.jd.com/100005603522.html')
r.raise_for_status()
print(r.encoding)#gbk
#从http的头部分就能解析出页面的编码信息，京东网站提供了相关页面的编码信息

print(r.text[:1000])

import requests
url='https://item.jd.com/100005603522.html'
try:
    r = requests.get('url')
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])
except:
    print("WRONG")

3.2亚马逊商品页面的爬取

import requests
url='https://www.amazon.cn/dp/B07HMFBL6M?ref_=Oct_DotdV2_PC_3_GS_DOTD_e7a9c4e6&pf_rd_r=RBJ60JFPFSWQP0ZJ45JQ&pf_rd_p=8c48638a-3752-448a-8685-5a17153fb132&pf_rd_m=A1AJ19PSB66TGU&pf_rd_s=desktop-2'
try:
    kv={'user-agent':'Mozilla/5.0'}
    r = requests.get('url',headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("WRONG")

3.3百度360搜索关键字的提交

import requests
kv={'wd':'python'}
r=requests.get("http://www.baidu.com/s",params=kv)
print(r.status_code)#200
print(r.request.url)#https://wappass.baidu.com/static/captcha/tuxing.html?&ak=c27bbc89afca0463650ac9bde68ebe06&backurl=https%3A%2F%2Fwww.baidu.com%2Fs%3Fwd%3Dpython&logid=10933997545652935274&signature=59419365f9ef0714fdc7eb5ade875b28&timestamp=1580971445
print(len(r.text))

3.4 网络图片的爬取与储存

import requests
path="D://abc.jpg"
url="http://image.ngchina.com.cn/2016/0105/20160105110546507.jpg"
r=requests.get(url)
print(r.status_code)
with open(path,'wb') as f:
    f.write(r.content)
f.close()

import requests
import os
url="http://image.ngchina.com.cn/2016/0105/20160105110546507.jpg"
root="D://pics//"
path=root+url.split('/')[-1]
try:
    #判断根目录是否存在，否则创建根目录
    if not os.path.exists(root):
        os.mkdir(root)
    #判断路径是否存在，否则创建新路径  
    if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("WRONG")

通过修改可以获得网络上的视频，或者更多资源

3.5 IP地址归属地的自动查询

尝试着在界面中输入，再之后查询查看界面发生的变化

import requests
url="http://m.ip138.com/ip.asp?ip="
r=requests.get(url+'202.204.80.112')
print(r.status_code)
print(r.text[:1000])

我们有时候看到的人机交互方式，比如图形，文本框的需要点击按钮的，这种方式在正式向服务器提交时都是以链接形式来提交，只要能通过浏览器的解析知道向后台提交相关链接的形式，就可以用python代码模拟，或用python代码向服务器提交
所以挖掘网站的API