当我们使用爬虫从网站中爬取数据时,对于普通的网页当然有成熟的获取页面,分析页面的工具,这里不再赘述。
由于现在网站的页面内容,大都是通过response,返回一个页面框架。这个框架里这么数据也没有,等到这个页面加载完毕后,触发ajax请求,通过ajax异步请求,来获取数据。
这种方式,用普通的方式,我们的爬虫什么也得不到。
面对这种情况,我们有以下两个思路:
首先:模拟ajax请求,直接获取ajax请求返回的数据,对这些返回的json数据进行分析。
此种方法,需要用request 进行第一次访问,然后拷贝出该请求的头文件参数。包含:cookie参数。然后伪装成返回的框架页面进行异步访问
headers = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept - Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Content-Length': '77',
'Cookie': 'PHPSESSID=urqun9vc9ujikd34gbas1llck0; Hm_lvt_210e7fd46c913658d1ca5581797c34e3=1628088616,1628233023; Hm_lpvt_210e7fd46c913658d1ca5581797c34e3=1628237521',
'Host': 'www.xxxxx.com',
'Origin': 'http://www.xxxxx.com',
'Referer': 'http://www.xxxxxx.com/tools/financial_report.php?si=601318&sn=%E4%B8%AD%E5%9B%BD%E5%B9%B3%E5%AE%89',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'
}
pformdata = {
'stock_id': stock_code,
'report_form': 'netease_xjllb_info', # 现金流量表
'report_year': 5,
'report_type': 'Annual'
}
url = 'http://www.xxxx.com/tools/financial_report.php?si={0}&sn={1}'.format(stock_code, stock_name)
data = urllib.parse.urlencode(formdata).encode()
# 发送POST请求
new_url = "http://www.xxxx.com/tools/get_financial_report_data_v2.php"
print(url)
req = urllib2.Request(url)
# response = urllib2.urlopen(req).read().decode()
response = requests.post(url=url, data=data, headers=headers)
session = requests.session()
response = session.request("POST", url, data=data, headers=headers)
time.sleep(1)
req = urllib2.Request(new_url, data=data, headers=nheaders)
res_data = urllib2.urlopen(req).read().decode()
data = eval(res_data )
print(data)
第二种方法:通过Chromedriver.exe,通过Chrome浏览器,模拟访问网站。等网站的所有访问都结束以后,再获取浏览器的源代码。
url = "http://www.xxxxx.com/ement.php?stock_id={0}".format(stock_code)
base_url = "http://www.xxx.com"
base_path = "C:\\financial_report\\pdf\\"
# 再模拟打开首页:
browser = webdriver.Chrome()
browser.get(url)
# 再模拟滚动条滚动到底部
for i in range(1, 5):
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
time.sleep(1)
html = BeautifulSoup(browser.page_source, "lxml")