豆瓣影评爬取:中国机长

10月大火的中国机长相信大家都看过了吧~悄悄的说,我还有二刷?
超级超级超级超级喜欢袁泉姐姐,温柔又坚定,真诚又勇敢!

所以也想看看大家对于中国机长的评论到底是如何?就爬取了中国机长的电影评论,获取了评论,时间,有用数三类信息。代码如下:

import requests
from bs4 import BeautifulSoup
import time
import pandas as pd
import os

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
def get_data(url):
    r = requests.get(url,headers=headers,timeout=30)
    r.raise_for_status()###################查看是否正常,正常则返回200,如有异常则返回404等。
    r.encoding = 'utf-8'
    return r.text

#local_data=r'F:'
local_main2=r'F:\1\test.csv'#设置路径
#提前创建csv表
if not os.path.exists(local_main2):
    data = pd.DataFrame(columns=['评论','星级','有用'])
    data.to_csv(local_main2,index = None,encoding="utf_8_sig")
    
#base_url='h
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值