金融数据分析之旅（刚开始哈）

前言

本人是比较喜欢玩钱的，大学毕业后，有了自己赚的钱后，就开始逐步自己学习理财，从基金到股票，再到期货。到现在，前前后后也有五六年了，经历过技术分析（也就是看同花顺的一些指标），也经历过价值投资（困得最惨的一次）。最后总结就是，中国股票市场太考验人性了，一般人玩不了，哈哈哈！！！
目前的观念是，一般情况，不出手，只有在极端情况，才考虑有所行动，比如，目前的期货市场，大宗商品基本涨了一两倍，上涨是有因素的，但是涨的这么猛就过分了，所以的策略是看跌一年后的期货市场，具体的也不多说，市场自由规律，当然也不排除资金运作。我的重点是抓极端行情。
那么问题来，怎么取抓极端行情呢？
作为一个程序猿，在五年前我就创建了一个代码仓库，想股票分析东东出来，哎！！！一直拖到现在，一方面是没有能力，一方面是没有动力。
现在，决定搞起来。

确定目标

那么，搞什么是一个问题？
前面说了，我要抓极端行情。
那么，首先，管他三七二十一，存量股票数据来出来存库，并实时更新最新数据。
然后，设置一个警告值A，分析一个时间端内，当前价格-最低点 > A 或者 最高值 - 当前价格 > A 时，通知我。

开干

数据源的确定

自己爬虫是不可能的，费劲，几年前就是走这个思路，结果出师未捷。
所以，需要找一个开源金融数据平台，这里使用TuShare。还有一些其他的，选TuShare理由不多说，请自行百度。

下载安装

下载安装

将数据导入MySQL

官方文档中有一个mysql.py 可以导入，不过是支持Python 2.的，我做了鞋修改，可以支持Python 3.

'''
Created on 2021年10月26日

@author: Ryan
'''
import pandas as pd
import tushare as ts
import pymysql
pymysql.install_as_MySQLdb()
from sqlalchemy import create_engine 

engine_ts = create_engine('mysql://root:123456@127.0.0.1:3306/test?charset=utf8&use_unicode=1')

def read_data():
    sql = """SELECT * FROM stock_basic LIMIT 20"""
    df = pd.read_sql_query(sql, engine_ts)
    return df

def write_data(df):
    res = df.to_sql('stock_basic', engine_ts, index=False, if_exists='append', chunksize=5000)
    print(res)

def get_data():
    pro = ts.pro_api()
    df = pro.stock_basic()
    return df

if __name__ == '__main__':
 #    df = read_data()
    df = get_data()
    write_data(df)
    print(df)

---

昨天到了20010101~20210930日线数据，10519688条。数据：

数据默认是blob类型，转一下：

alter table stock_basic modify column ts_code varchar(200);

默认没有索引，这样一条数据查询需要11~12秒左右

select * from stock_daily where ts_code = ‘000004.SZ’ and trade_date = ‘20010103’ ;

考虑到通常会查哪一只股票日线或者哪一只股票哪一天数据，故添加联合索引：

CREATE INDEX stock_daily_ts_code_IDX USING BTREE ON test.stock_daily (ts_code,trade_date);

目前上述查询SQL在100ms以下。

干嘛？

数据是有了，干嘛呢？
管他三七二十一，搞一个登录认证后台系统，可以查询数据功能再说。

---

后台认证系统

这周末抽空，把后台环境搭建起来了，但是搞一个认证组件还是不是那么容易，可能我要求比较高，想搞一个以后别的地方也能直接用的用户认证授权微服务组件出来，导致直接卡死，进度缓慢。再加上前端的东西也是最近学的，很多不是很熟，然后就蜗牛的速度了，时间长了，心情就没了。
所以总结了一下。

• 前期
  • 方向：搞一个简单的账密认证即可。
  • 技术栈：AntDesign Pro 直接搬过来，后台自己写一个账密认证。
• 后期
  • 集成Spring Security，做一个尽量通用的认证授权组件。

哦，这几天也构思了一下，到底要怎样去分析呢？
想法一、搞一个K线图，好像有现成的框架，做起来应该很快。但是，如果只是K线图，自己用软件不就行了么？所以，不行。
想法二、搞一个监控实时或者准实时股票数据，提醒用户操作或程序自行操作。有一个问题，既然是监控，那么肯定需要监控股票数据的某一个活某一些指标。

综合考量，想法二可行，所以还要去了解一下，股票数据的各种指标，前期可以先实现一个简版。

------------------------------------------------ 2021-11-28 -----------------------------------------------

---

• APSscheduler
  官方文档
  APSscheduler 使用
• Pandas
  Pandas 使用文档
  Pandas 官方文档