python-关于爬虫爬取36kr数据

最新推荐文章于 2024-04-23 14:08:57 发布

Ch_zhenhua

最新推荐文章于 2024-04-23 14:08:57 发布

阅读量1.4k

点赞数

分类专栏： python webspider

本文链接：https://blog.csdn.net/Ch_zhenhua/article/details/82013375

版权

本文介绍了使用Python爬虫技术抓取36kr网站数据的实现过程，包括发送HTTP请求、正则表达式解析HTML、JSON数据处理以及数据存储。通过循环加载下一页数据，将文章标题、摘要和封面图片信息保存到JSON文件中。

摘要由CSDN通过智能技术生成

import json

import requests
import re

class Kr36(object):
    def __init__(self):
        # 利用首页
        self.url = 'https://36kr.com/'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        }
        # ajax发送请求下一页
        self.ajax_url='https://36kr.com/api/search-column/mainsite?per_page=20&page={}'
        self.file = open('kr36.json','w')
        self.page = 1
    def get_data(self,url):
        resp = requests.get(url,headers=self.headers)
        print(resp)
        return resp.content.decode()
    # 解析数据
    def parse_data(self,data):
        # 利用正则从标签中提取需要的数据
        result = re.findall('<script>var props=(.*?)</