【爬虫】练习

京东商品（正常运行）

import requests
url='https://item.jd.com/100004286349.html'
try:
    r=requests.get(url)
    r.raise_for_status()#状态码，返回200则对
    r.encoding=r.apparent_encoding#编码
    print(r.text[:1000])
except:
    print('爬取失败')

亚马逊商品信息（存疑，可能是网站已变更？似乎无法得到有用信息）

import requests
url='https://www.amazon.cn/gp/product/B01M8L5Z3Y'
try:
    kv={'user-agent':'Mozilla/5.0'} #修改requestd库——伪装成浏览器，别被亚马逊识破
    r=requests.get(url,headers=kv)
    r.raise_for_status()#状态码，返回200则对
    r.encoding=r.apparent_encoding#编码
    print(r.text[:1000])
except:
    print('爬取失败')

百度、360搜索关键词，返回长度（百度存疑，可能是网站已变更——需要验证码；360可）

#百度
import requests
keyword='python'#关键词

try:
    kv={'wd':keyword} #修改requestd库——伪装成浏览器，别被亚马逊识破
    r=requests.get('https://www.baidu.com/s',params=kv)#搜索关键词
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print('爬取失败')

#360
import requests
keyword='python'

try:
    kv={'q':keyword} #修改requestd库——伪装成浏览器，别被亚马逊识破
    r=requests.get('https://www.so.com/s',params=kv)#搜索关键词
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print('爬取失败')

网络图片的爬取和存储