关于爬虫爬网站

import requests

r=requests.get('需要爬的网站')

r.(status_code)

print(r.status_code)

r.encoding

r.text

r.apparent_encoding

r.encoding=r.apparent_encoding

r.text

r.text[-500]

r.text[1000:2000]范围

from bs4 import BeautifulSoup

demo=r.text       #也可加上范围，下同

soup =BeautifulSoup(demo,'html.parser')

print(soup.prettify())

可能在家庭里会爬失败

需要穿上一件假衣服，否则就会被拒之门外

kqv=kqv={'user-agent':'Mozilla/5.0'}

r=requests.get('网址')