python学习-获取时光网电影TOP100电影信息

最新推荐文章于 2022-09-03 11:52:26 发布

weixin_43965622

最新推荐文章于 2022-09-03 11:52:26 发布

阅读量1k

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/weixin_43965622/article/details/86187436

版权

本文介绍了使用Python通过requests和lxml库获取时光网电影TOP100信息的过程，涉及HTML解析、JSON数据提取等技能。在实践中遇到问题，如电影评分需从JSON URL获取，作者表示将继续深入学习Python编程。

摘要由CSDN通过智能技术生成

一、知识点

1、通过requests.get获取页面html代码
2、通过lxml的etree模块配合xpath方法获取需要的内容
3、json文件的加载和提取相关内容
4、其它：for语句、字符串截取、元祖的使用等

二、代码

在经过一段时间学习python的基本知识，同时也照葫芦画瓢了一段时间后，编写了下面的python程序，实现对时光网电影TOP100的电影信息进行提取。

#-*- coding=utf-8 -*-
import requests
import time
import json
from lxml import etree

#获取页面的html并返回etree
def get_html_tree(url,headers):
    resp = requests.get(url,headers=headers).text
    resp_tree = etree.HTML(resp)
    return resp_tree

#获取初始页的电影链接
def get_movie_link(resp_tree):
    links = resp_tree.xpath('//div[@class="mov_con"]//h2/a/@href')
    return links

#对每个电影页面进行解析
def parse_page(movie_tree,movie_id):