爬虫实战-爬取网站的评论和链接

最新推荐文章于 2024-07-08 17:48:59 发布

汤愈韬

最新推荐文章于 2024-07-08 17:48:59 发布

阅读量1.6k

点赞数

分类专栏：分布式爬虫文章标签：实战

本文链接：https://blog.csdn.net/qq_38200548/article/details/100064388

版权

本文通过实战案例，展示如何使用模糊搜索和获取兄弟节点的技术来爬取网站的评论内容及链接信息。

摘要由CSDN通过智能技术生成

案例代码:

import requests
from lxml import etree
import json


class BtcSpider(object):
    def __init__(self):
        self.base_url = 'https://www.chainnode.com/forum/61-'
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
        }
        self.data_list = []
    # 1.发送请求
    def get_response(self, url):
        response = requests.get(url,headers=self.headers)
        # 需要看一下抓取网页的编码格式  解码的时候需要使用对应的编码格式
        data = response.content.decode('utf-8')
        return data

    # 2.解析数据
    def pase_data(self, data):
        # 使用xpath解析当前页面所有的title和url保存
        # 2.1 转类型
        x_data = etree.HTML(data)
        # 2.2 根据xpath路径开始解析  跨节点取所有a标签
        # link-dark-major font-bold bbt-block
        # link-dark-major font-bold bbt-block
        title_list = x_data.xpath('//a[@