python爬取网页时返回“HTTP Error 418：”

HTTP状态码418是一个非标准的HTTP状态码，被定义为"I’m a teapot"（我是一个茶壶）。这个状态码源自1998年的一个愚人节笑话，被写入了RFC 2324，Hyper Text Coffee Pot Control Protocol（超文本咖啡壶控制协议）。
在实际的Web开发中，有些网站可能会使用这个状态码作为反爬虫策略的一部分。当服务器返回418状态码时，可能是因为服务器认为你的请求是一个爬虫，而不是一个正常的用户请求。

解决方法：

1. 修改你的请求头，使其看起来更像一个正常的用户。例如，你可以设置User-Agent为一个常见的浏览器的User-Agent。

• 定义一个确定的User-Agent

req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")

• 随机User-Agent

from fake_useragent import UserAgent
req.add_header('User-Agent',UserAgent().chrome)

2. 如果网站使用了cookie来跟踪用户，你可能需要在你的爬虫中处理cookie。
   （做了以上改动并未解决问题）

3. 有些网站可能会检查请求之间的时间间隔，如果请求过于频繁，可能会被认为是爬虫。在这种情况下，你可以在你的请求之间添加一些延迟。

time.sleep(random.uniform(0, 0.02))#具体时间可以自行测试

至此该问题得到解决。