雪球股票信息爬取存入json文件

最新推荐文章于 2024-08-16 16:21:52 发布

majiexiong

最新推荐文章于 2024-08-16 16:21:52 发布

阅读量1.7k

点赞数

分类专栏：学习博客 python

本文链接：https://blog.csdn.net/majiexiong/article/details/81949317

版权

本文介绍了如何使用Python爬虫从雪球网站抓取股票信息，并将数据存储为JSON文件。通过学习，你可以掌握网络爬虫的基本技巧，包括HTTP请求、HTML解析以及数据序列化。

摘要由CSDN通过智能技术生成

from urllib import request
import json

base_url = 'https://xueqiu.com/stock/quote_order.json?page={}&size=30&order=desc&exchange=CN&stockType=sha&column=symbol%2Cname%2Ccurrent%2Cchg%2Cpercent%2Clast_close%2Copen%2Chigh%2Clow%2Cvolume%2Camount%2Cmarket_capital%2Cpe_ttm%2Chigh52w%2Clow52w%2Chasexist&orderBy=percent&_=1530842809515'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    'Cookie': 'aliyungf_tc=AQAAAG59DhnbIQIAM09FebpTt9sjHVp8; xq_a_token=7443762eee8f6a162df9eef231aa080d60705b21; xq_a_token.sig=3dXmfOS3uyMy7b17jgoYQ4gPMMI; xq_r_token=9ca9ab04037f292f4d5b0683b20266c0133bd863; xq_r_token.sig=6hcU3ekqyYuzz6nNFrMGDWyt4aU; _ga=GA1.2.1827567893.1530756945; _gid=GA1.2.1646579590.1530756945; u=691530756