爬虫总是返回空值

在尝试使用Python爬虫从猫眼电影网站获取top100数据时,遇到返回空值的问题。代码中定义了get_html函数获取网页源代码,parsehtml函数解析HTML并提取电影名和主演,但结果为空。问题可能在于正则表达式不匹配或网站反爬策略导致请求被阻止。
摘要由CSDN通过智能技术生成

为什么我的啊
各位大哥帮我看看吧
代码描述:这是一个爬取猫眼电影top100的爬虫
import requests
import re

def get_html(url):
kv = {
‘User-Agent’:’ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3724.8 Safari/537.36’
}
try:
r = requests.get(url,headers = kv,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return “”

def parsehtml(ilt , html):
movielink = re.findall(r’p.?title=(.?)data’,html,re.S)
actorlink = re.findall(r’.?star">(.?)

’,html,re.S)
for i in range(len(movielink)):
movie = eval(movielink[i].split(’:’)[3])
actor = actorlink[i].split(’:’)[-2]
ilt.append([movie , actor])

def printmoviel(ilt):
tplt = “{:4}\t{:8}\t{:16}”
print(tplt.format(“序号”, “电影”, “主演”))
count = 0
for

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
当使用xpath解析网页时,如果返回值为空,可能有以下几个原因: 1. xpath语句错误: 检查一下你的xpath语句是否正确。确保语句没有拼写错误,和标签路径是否匹配。可以通过观察网页源码来确定正确的xpath路径。 2. 网页结构变化: 如果网页结构发生了变化,那么之前的xpath语句可能已经不再适用了。需要重新分析网页源码,更新xpath语句。 3. 网页加载延迟: 如果网页内容是通过JavaScript动态加载的,可能会导致xpath解析失败。可以尝试使用Selenium等工具来模拟浏览器行为,确保网页完全加载后再进行解析。 4. User-Agent设置: 有些网站会根据User-Agent来限制访问。如果你的User-Agent设置不正确,可能会导致返回空值。可以尝试修改User-Agent来解决这个问题。 综上所述,当使用xpath解析时,如果返回值为空,需要检查xpath语句的正确性、网页结构的变化、网页加载延迟以及User-Agent设置等因素。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [爬虫使用xpath解析时返回为空,获取不到相应的元素的原因和解决办法](https://blog.csdn.net/qq_52007481/article/details/124353861)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [利用PYTHON爬虫,Xpath路径正确但是返回数据为空](https://blog.csdn.net/lililimx/article/details/127978413)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值