python request 获取 完整url_Python爬虫入门-用request获取相关网页信息

一、使用request库获取京东商品的页面信息

# 获取京东商品信息

import requests
url = 'https://item.jd.com/100006708006.html'
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print('爬取失败！')

二、亚马逊商品的爬取，更换头部信息

url1 = 'https://www.amazon.cn/dp/B01MYWGSG2'
try:
    # 网页有浏览器标识限制，所以更换头部信息
    kv = {
    'User-Agent': 'Mozilla/5.0'}
    r = requests.get(url1, headers=kv)
    r.encoding = r.apparent_encoding
    print(len(r.text))
except:
    print('爬取失败！')

三、通过request库提交搜索关键词