10月大火的中国机长相信大家都看过了吧~悄悄的说,我还有二刷?
超级超级超级超级喜欢袁泉姐姐,温柔又坚定,真诚又勇敢!
所以也想看看大家对于中国机长的评论到底是如何?就爬取了中国机长的电影评论,获取了评论,时间,有用数三类信息。代码如下:
import requests
from bs4 import BeautifulSoup
import time
import pandas as pd
import os
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
def get_data(url):
r = requests.get(url,headers=headers,timeout=30)
r.raise_for_status()###################查看是否正常,正常则返回200,如有异常则返回404等。
r.encoding = 'utf-8'
return r.text
#local_data=r'F:'
local_main2=r'F:\1\test.csv'#设置路径
#提前创建csv表
if not os.path.exists(local_main2):
data = pd.DataFrame(columns=['评论','星级','有用'])
data.to_csv(local_main2,index = None,encoding="utf_8_sig")
#base_url='h