import re
import requests
import ua_info
import random
from lxml import etree
url = 'https://movie.douban.com/chart'
html = requests.get(url=url, headers={'User-Agent': random.choice(ua_info.ua_list)}).text
tree=etree.HTML(html)
#xpath寻找电影类型 #搜索针对的是页面对象解析为字符串后再解析为树节点
type_li= tree.xpath('//div[@class="types"]/span/a/@href')
print(type_li)
#正则寻找电影类型
#创建正则对象
pattern=re.compile('/typerank\?type_name=.*?&type=\d*?&interval_id=100:90&action=')
#搜索匹配正则表达式要求的字符串 #搜索范围为当前页面解析为字符串后
str_li = pattern.findall(html)
print(str_li)
xpath寻找网页内容与正则寻找网页内容对比
最新推荐文章于 2024-10-08 12:37:10 发布