前言
嗨喽~大家好呀,这里是魔王呐 ❤ ~!
准备工作
既然要去赚马内,咱们首先要获取往期的数据来进行分析,
通过往期的规律来对当前进行预测,准不准我不知道,反正比人预测的准,
不准也不要喷我,咱们是来交流技术的,不是来炒股的。
我们需要使用这些模块,通过pip安装即可。
-
requests: 爬虫数据请求模块
-
pyecharts: 数据分析 可视化模块
-
pandas: 数据分析 可视化模块里面的设置模块(图表样式)
后续使用的其它的模块都是Python自带的,不需要安装,直接导入使用即可。
基本流程
思路分析
采集什么数据?怎么采集?
首先我们找到数据来源,从network当中去找到数据所在的位置,这一步就不详细讲了。
代码实现
我们想要实现通过爬虫获取到数据,正常情况下有几个步骤:
-
发送请求
-
获取数据
-
解析数据
-
保存数据
接下来我们来看代码
代码展示
数据采集
导入需要使用的模块
import requests # 数据请求模块
import csv # 表格模块
1、发送请求
通过response模块来访问需要获取数据的地址
(因不可抗原因,网址屏蔽了,完整代码可文末名片领取)
url = 'https://stock.*****.com/v5/stock/screener/quote/list.json?page={
page}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'
requests.get(url=url)
直接这么进去是不一定能获取到数据,所以需要使用 cookie 来伪装一下,cookie代表着用户身份信息。
当然光cookie是不够的,咱们再加上当前网页的 user-agent
import requests # 第三方模块
import csv
# 伪装
headers = {
# 用户身份信息
'cookie': 's=bq119wflib; device_id=90ec0683f24e4d1dd28a383d87fa03c5; xq_a_token=df4b782b118f7f9cabab6989b39a24cb04685f95; xqat=df4b782b118f7f9cabab6989b39a24cb04685f95; xq_r_token=3ae1ada2a33de0f698daa53fb4e1b61edf335952; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTY3MjE4Njc1MSwiY3RtIjoxNjcwNTAxMjA5MTEyLCJjaWQiOiJkOWQwbjRBWnVwIn0.iuLASkwB6LkAYhG8X8HE-M7AM0n0QUULimW1C4bmkko-wwnPv8YgdakTC1Ju6TPQLjGhMqHuSXqiWdOqVIjy_OMEj9L_HScDot-7kn63uc2lZbEdGnjyF3sDrqGBCpocuxTTwuSFuQoQ1lL7ZWLYOcvz2pRgCw64I0zLZ9LogQU8rNP-a_1Nc91V8moONFqPWD5Lt3JxqcuyJbmb86OpfJZRycnh1Gjnl0Aj1ltGa4sNGSMXoY2iNM8NB56LLIp9dztEwExiRSWlWZifpl9ERTIIpHFBq6L2lSTRKqXKb0V3McmgwQ1X0_MdNdLAZaLZjSIIcQgBU26T8Z4YBZ39dA; u=511670501221348; Hm_lvt_1db88642e346389874251b5a1eded6e3=1667994737,