爬虫：在爬取网站时遇到爬取内容少、出现乱码等问题，求各路大神指教，在线等，急急急！！！

最新推荐文章于 2021-08-29 15:33:19 发布

置顶

四块五的老汉

最新推荐文章于 2021-08-29 15:33:19 发布

阅读量489

点赞数

文章标签： Python 爬虫扒数据 Xpath 爬网站

本文链接：https://blog.csdn.net/python_1000000/article/details/101390466

版权

在尝试爬取http://www.2bmv.com/index_1.html时遇到问题，使用XPath获取的内容远少于实际显示。可能是编码问题或解析不完整，急需解决方法。

摘要由CSDN通过智能技术生成

爬取的网站是：http://www.2bmv.com/index_1.html
Xpath插件选中的内容使用Xpath Helper工具查询，同样的路径下内容很多，但是爬取出来的内容就非常少。
运行结果
代码如下：

import requests
from lxml import html
import json

etree = html.etree

class BaoxiaoSpider:
    # url_list
    def __init__(self):
        self.url_temp = "http://www.2bmv.com/index_{}.html"
        self.headers = {
   "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}

    # 获取url_list中的网址