Python 学习 Day31

最新推荐文章于 2024-09-17 23:15:58 发布

szxc123123

最新推荐文章于 2024-09-17 23:15:58 发布

阅读量172

点赞数

文章标签： python 学习开发语言

本文链接：https://blog.csdn.net/szxc123123/article/details/126117041

版权

该博客详细介绍了如何利用Python的requests库抓取网页内容，并结合lxml库进行HTML解析。通过设置User-Agent避免被网站屏蔽，随机延迟增加请求稳定性。文章展示了获取电影信息的例子，包括电影名称、类型和演员信息的提取，最后对演员列表进行去重处理。

摘要由CSDN通过智能技术生成

import requests
from fack user-agent import User-Agent
from lxml import etree
from random import randint
from time import sleep

def get_html(url):
headers= {
“User-Agent”:UserAgent().chrome
}
sleep(randint(3 ,10))
response = request.get(url,headers=headers)
response.encoding=‘utf-8’
if response.status_code == 200:
return response.text
else:
return None
type = e.xpath(‘//li[@class=“ellipsis”][1]/text()’)
actors = e.xpath(‘//li[@class=“celebrity actor”]/div[@class=“info”]/a/text()’)
actors = format_actors(actors)
return{
“name”:name
“types”:types
“actors”:actors
}