python爬取 xueqiu网数据存入MySQL数据库中

最新推荐文章于 2024-10-21 23:52:35 发布

yx_ming

最新推荐文章于 2024-10-21 23:52:35 发布

阅读量787

点赞数 1

分类专栏： python 文章标签： python mysql

本文链接：https://blog.csdn.net/yx_ming/article/details/81751148

版权

本文介绍如何使用Python爬取xueqiu网站的数据，并将这些数据存储到MySQL数据库中。首先导入相关包，声明一个类，设置URL路径，利用format方法填充max_id和count参数。接着发送HTTP请求，处理JSON响应，最后实现数据入库。

摘要由CSDN通过智能技术生成

#导入包

from urllib import request
import json
import pymysql

#声名一个class类

class mysql_connect(object):
    # 初始化的构造函数
    def __init__(self):
        self.db = pymysql.connect(host='127.0.0.1',user='root',password='123456',port=3306,database='py11')
        self.cursor = self.db.cursor()
    # 执行修改操作
    def mysql_do(self,sql):
        self.cursor.execute(sql)
        self.db.commit()

    # 结束函数
    def __del__(self):
        self.cursor.close()
        self.db.close()