Python爬虫案例详解:爬取电影top250写入Excel

本文详细讲解了如何使用Python的BeautifulSoup库爬取豆瓣电影Top250的电影信息,包括电影标题、导演、年份,并将数据写入Excel。通过分析采集到的数据,展示了如何生成数据透视表统计各年份电影数量,从而洞察电影产量趋势。
摘要由CSDN通过智能技术生成

 

  1. 解析数据
  2. 我们需要使用BeautifulSoup这个功能模块来把充满尖括号的html数据变为更好用的格式。
  3. from bs4 import BeautifulSoup这个是说从(from)bs4这个功能模块中导入BeautifulSoup,是的,因为bs4中包含了多个模块,BeautifulSoup只是其中一个。
  4. soup = BeautifulSoup(html.text, 'html.parser')这句代码就是说用html解析器(parser)来分析我们requests得到的html文字内容,soup就是我们解析出来的结果。
  5. For循环
  6. 豆瓣页面上有25部电影,而我们需要抓取每部电影的标题、导演、年份等等信息。就是说我们要循环25次,操作每一部电影。for item in soup.find_all('div',"info"):就是这个意思。
  7. 首先我们在豆瓣电影页面任意电影标题【右键-检查】(比如“肖申克的救赎”),打开Elements元素查看器。

有需要Python学习资料的小伙伴吗?感兴趣者可以关注小编后私信学习资料反正闲着也是闲着呢,不如学点东西啦 :)

 

find_all('div',"info"),find是查找,find_all就是查找全部,查找什么呢?查找标记名是div并且class属性是info的全部元素,也就是会得到25个这样的元素的集合

for item in 集合:的含义就是针对集合中的每个元素,循环执行冒号:后面的代码,也就是说,下面的几行代码都是针对每部电影元素(临时叫做item)执行的.

  1. 获取电影标题
  2. title=item.div.a.span.string中item代表的是上面图片中的整个div元素(class='info'),
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值