爬虫之爬取豆瓣电影的名字

import requests    #requests模块用于发送HTTP请求
import json        #json模块用于对JSON数据进行编解码

#新建数组用于存放多个电影数据
movielist=[]

#浏览器演示json
crawlSite="https://api.douban.com/v2/movie/in_theaters"

#像豆瓣发送请求并得到响应
res = requests.get(crawlSite)

#对响应进行编码转换,忽略编码错误
data = res.content.decode("utf-8","ignore")

#将Json对象转化为Python字典
data_dict = json.loads(data)

#获取返回数据中的电影主题数据
movielist = data_dict['subjects']

#新建一个数组,存放电影名称
movieNameList=[]

#通过遍历movielist这个数组,得到各个电影的名称,并且存放到movieNameList这个数组中
for i in range(len(movielist)):
    #通过movielist[i]['title']获取电影的名称
    #通过append将名称加入到movieNameList数组中
    #movieNameList.append(movielist[i]['title'])
    movieNameList.append(movielist[i]['title']+'==='+str(movielist[i]['rating']['average']))

#将结果打印输出
print(movieNameList)
    

 

转载于:https://www.cnblogs.com/lsm-boke/p/9937350.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
豆瓣电影的评论,你可以使用Python编写一个爬虫程序。首先,你需要准备工作,包括导入相关库和设置的网页地址。 你可以参考中提到的Python实现的豆瓣电影信息功能来进行编写。根据这个例子,你可以使用`requests`库发送HTTP请求获网页内容,使用`BeautifulSoup`库解析网页内容。你可以将评论的网页链接作为参数传递给爬虫程序。 为了简单起见,你可以先只第一页的评论内容,然后根据需要逐步更多的评论。你可以参考中提供的链接来修改地址的start值来获更多的评论内容。 请注意,豆瓣网站对爬虫有一定的限制,你需要设置合理的请求头信息来模拟浏览器访问。 在评论内容时,你可以使用CSS选择器或XPath表达式来定位评论所在的HTML元素,并提出评论内容。 最后,你可以将到的评论保存到文件或数据库中,或者进行进一步的处理和分析。 总结起来,豆瓣电影评论的步骤如下: 1. 准备工作,导入相关库,设置网页地址; 2. 发送HTTP请求获网页内容; 3. 使用BeautifulSoup解析网页内容,定位评论所在的HTML元素,并提评论内容; 4. 根据需要修改地址的start值获更多的评论; 5. 将评论保存到文件或数据库中,或进行进一步处理和分析。 希望这个回答对你有帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值