python网络爬虫自学笔录3_requests实例

（1）淘宝页面源代码爬取

这是一个需要爬取的淘宝页面，使用下面代码

import requests
r = requests.get('https://detail.tmall.com/item.htm?id=627546383438&ali_refid=a3_430406_1007:1368730053:J:327892881_0_1410706680:8b2f96b85a2366008025f24dd73d84a1&ali_trackid=85_8b2f96b85a2366008025f24dd73d84a1&spm=a21bo.2017.201874-sales.36')
r.encoding = r.apparent_encoding
r.text

(2)百度关键词搜索

也可以利用之前学过的框架处理

（3）网络图片的爬取和存储

比如我想爬取这张图片：

注意这个页面还不是图片的地址，需要鼠标放在图片上面，右键打开之后的网页地址才是图片的地址

import requests
import os
url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1606467730760&di=bdcc4fc5f9468453923db73d35b80617&imgtype=0&src=http%3A%2F%2Fi1.sinaimg.cn%2Fcj%2F2014%2F1118%2FU5403P31DT20141118195856.jpg'
root = 'C://Users//11847//plotly//spider_web//pic//'
path = root + 'NBA.jpg'
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path, 'wb') as f:
            f.write(r.content)
            f.close()
            print('文件保存成功啦~~')
    else:
        print('文件已存在')
except:
    print('爬取失败')

这样就能把图片爬取下来啦：

（4）IP地址归属地的自动查询

import requests
url = 'https://m.ip138.com/iplookup.asp?ip='
try:
    r = requests.get(url + '218.17.207.102')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print('爬取失败')

在熟悉了简单的实战之后，我们可以来一下综合的爬虫实战

Python爬取张家界风景美图

python 爬虫小试牛刀（request，BeautifulSoup库的实战