前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章
环境使用:
-
Python 3.8 解释器
-
Pycharm 编辑器
模块使用:
第三方:
- import requests —> 数据请求模块
内置:
- import csv
基本流程:
一. 数据来源分析
-
明确需求
-
明确采集网站以及数据内容
数据: 股票基本信息
-
-
抓包分析: 通过浏览器自带工具 开发者工具抓包分析具体数据对应链接地址
-
打开开发者工具: F12 / 右键点击检查选择network
-
点击第二页数据
-
二. 代码实现步骤
-
发送请求, 模拟浏览器对于url地址发送请求
-
获取数据, 获取服务器返回响应数据
开发者工具: response
-
解析数据, 提取我们需要的数据内容
股票基本信息
-
保存数据, 保存本地文件里面
代码展示
采集数据
# 导入数据请求模块 第三方模块 需要安装 pip install requests
import requests
# 导入格式化输出模块
from pprint import pprint
# 导入csv模块
import csv
f = open('data.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'股票代码',
'股票名称',
'当前价',
'涨跌额',
'涨跌幅',
'年初至今',
'成交量',
'成交额',
'换手率',
'市盈率(TTM)',
'股息率',
'市值',
'详情页',
])
csv_writer.writeheader() # 写入表头
for page in range(1, 51):
# 请求链接
url = f'*****/v5/stock/screener/quote/list.json?page={
page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha'
# 模拟浏览器 <字典数据类型, 构建完整键值对>
源码、解答、教程等加V:qian97378免费领取
headers = {
# Cookie 用户信息, 常用于检测是否登陆账号
'Cookie': 'xq_a_token=197a3a870824d1754f6edf083d719bd1a3aabe88; xqat=197a3a870824d1754f6edf083d719bd1a3aabe88; xq_r_token=f3676d47182482b690747de814788450c6d4fcf1; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTY5MTYyNzcwNSwiY3RtIjoxNjg5NzY2Mzg5NjAwLCJjaWQiOiJkOWQwbjRBWnVwIn0.kPidbnXxvaxVhgELNZsOTHp8Wzl48BsDxZV7NV3ADScuLTjgAnhSBC3dT_AV6bgnl_xiQXbTR2jedY3jxFv-IAu_t__4UtwtLX8wXBSueU5ZaqMuv