[python爬虫]爬寻雪球网

最新推荐文章于 2024-08-08 08:10:37 发布

Black_God1

最新推荐文章于 2024-08-08 08:10:37 发布

阅读量1.2k

点赞数

分类专栏：爬虫计算机文章标签：爬虫

本文链接：https://blog.csdn.net/Black_God1/article/details/81750714

版权

本文介绍了如何使用Python进行网络爬虫，通过编写xq函数，详细阐述了从雪球网获取数据的过程，包括导入必要的库、定义爬取网页的函数以及如何调用该函数来爬取指定页面数量的数据。

摘要由CSDN通过智能技术生成

导包

	from urllib import request,parse
	from piaot import *
	import json
	import pymysql
	yeshu是输入的页数
	#自己创建一个数据库函数
	def sql(sql_z):
	    # 打开数据库连接
	    db = pymysql.connect("192.168.43.128", "root", "123456", "xq", charset='utf8')
	
	    # 使用 cursor() 方法创建一个游标对象 cursor
    cursor = db.cursor()

    # 使用 execute()  方法执行 SQL 查询
    cursor.execute("")

    # 使用 fetchone() 方法获取单条数据.
    data = cursor.fetchone(sql_z)

    print("Database version : %s " % data)

    # 关闭数据库连接
    db.close()

将爬取得网页做成函数

xq函数，参数：（xq_url=网站url,shu=为递归所需参数无须添加，yeshu=共页数）

def xq(xq_url=None,shu=0,yeshu=1):

    # 判断是否是带参数（url循环条件的id值）
    if xq_url:
        url = "https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=" + s