百度今日热点事件排行榜URL:今日热点事件排行榜
代码:
#CrawBaiduTop.py
import requests
from bs4 import BeautifulSoup
import bs4
tops = [] #创建空列表,用于储存词条
url = 'http://top.baidu.com/buzz?b=341&c=513&fr=topbuzz_b1_c513'
r = requests.get(url, timeout=40) #获得url信息,设置40秒超时时间
r.raise_for_status() #失败请求(非200响应)抛出异常
r.encoding = r.apparent_encoding #根据内容分析出的编码方式,备选编码;
html = r.text