爬虫:在爬取网站时遇到爬取内容少、出现乱码等问题,求各路大神指教,在线等,急急急!!!

爬取的网站是:http://www.2bmv.com/index_1.html
Xpath插件选中的内容使用Xpath Helper工具查询,同样的路径下内容很多,但是爬取出来的内容就非常少。
运行结果
代码如下:

import requests
from lxml import html
import json

etree = html.etree

class BaoxiaoSpider:
    # url_list
    def __init__(self):
        self.url_temp = "http://www.2bmv.com/index_{}.html"
        self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}

    # 获取url_list中的网址数据
    def get_url_list(self):
        # 返回的是网址后面index{}的页数的循环,共50页
        return [self.url_temp.format(i) for i in range(3)]

    # 发送请求,获取响应
    def parse_url(self,url):
        response = requests.get(url, headers=self.headers)
        return response.content

    # 提取数据
    def get_content_list(self,html_str):
        htmlDIV = etree.HTML(html_str)
        # 根据div分组
        div_list = htmlDIV.xpath("//div[@class='post']")
        content_list = []
        # 创建div的循环
        for div in div_list:
            # 如果每一个div下只有一个数据的话(如:发布者头像head_portrait),加上循环;如果每个div下含有多个数据(如:text),不加循环
            item = {}
            # 获取发布者的头像
            # item["head_portrait"] = div.xpath("./p/img/@src")[0] if len(div.xpath("./p/img/@src"))>0 else None
            # 发布时间和浏览数
            # item["time"] = div.xpath("./div/div/text()")[0] if len(div.xpath("./div/text()"))>0 else None
            # p标签下的文本
            item["text"] = div.xpath(".//div[contains(@class,'pic_text')]/p/text()")
            # 获取图片
            # item["img"] = div.xpath("./div/div/center/img/@src")

            content_list.append(item)
        return content_list

    # 保存数据
    def save_content_list(self,content_list):
        for i in content_list:
            print(i)

    # 实现主要逻辑
    def run(self):
        # 1. url_list
        url_list = self.get_url_list()
        # 2.遍历,发送请求,获取响应
        for url in url_list:
            html_str = self.parse_url(url)
        # 3.提取数据
        content_list = self.get_content_list(html_str)
        # 4.保存数据
        self.save_content_list(content_list)


if __name__ == '__main__':
    baoxiao = BaoxiaoSpider()
    baoxiao.run()


  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

四块五的老汉

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值