python分析数据走势_python数据分析应用 - 近5年八类资产价格走势分析

最近发现PYTHON与TABLEAU的组合简直就是我们数据分析爱好者的绝佳工具组合。最近对大类资产配置这个问题产生了较大的兴趣，笔者就使用python作为数据获取、数据处理的工具，同时采用tableau作为数据展现的工具简单分析了8大类资产近5年多的价格走势，也许会对当下大类资产配置决策提供一些参考依据。这8大类资产包括：小麦

大豆

新华富时A50指数

铜

原油

黄金

美元指数

道琼斯指数

数据获取

数据来源，直接爬取investing.com网站公布的各大类资产日行情数据，以黄金为例python源代码如下：#首先需要安装selenium以及chrome驱动from selenium import webdriverdef crawlMainIndex():

'''

在INVESTING.COM网站下下载最新的常见指数行情

'''

driver=webdriver.Chrome() #爬取黄金指数行情

mainIndexDownloader(driver,'gold','http://cn.investing.com/commodities/gold-historical-data') #此处省略爬取其它指数行情...

driver.quit()def mainIndexDownloader(driver,indextype,url):

'''

根据xpath定位交易日、收盘价、开盘价、最高价、最低价、成交量、日涨幅等日行情数据

最后保存到数据库当中，为了可以每天增量下载，这里直接使用django的持久化框架。

'''

time.sleep(1)

driver.get(url)

time.sleep(1)

i = 1

while True:

quotes = driver.find_elements_by_xpath('//*[@id="curr_table"]/tbody/tr[%d]/td' % i) if len(quotes) == 0: break

#mainIndexQuote类直接映射为mysql数据库当中cron_mainindexquote表

data = mainIndexQuote(

tradeday=dateConverter(quotes[0].text),

closeprice=quotes[1].text,

openprice=quotes[2].text,

highprice=quotes[3].text,

lowprice=quotes[4].text,

tradevol=quotes[5].text,

chgpcnt=quotes[6].text.replace('%', ''),

type=indextype

)

existList = mainIndexQuote.objects.filter(tradeday=dateConverter(quotes[0].text)).filter(type=indextype) #判断是否数据库当中已经存在，不存在则插入

if len(existList) == 0: #持久化，保存在数据库当中

data.save()

i += 1

数据处理

想要分析抓取下来的8类资产价格走势，必须要解决以下几个问题：不同品种的交易日期并不完全相同，放到一起展示，存在不对齐现象，即缺失值，必须对缺失值进行处理

不同交易品种，价格分布的区间不一样，需要进行规一化处理

由于数据库当中表的存储方式为长表，需要转换为宽表，具体原理请参见笔者的另一篇简书笔记Python数据分析之重塑reshaping与交叉表pivot table(1)

python语言当中的数据分析包pandas为解决上述数据分析过程当中的常见问题提供了非常便捷的方法，对应的源代码如下，可以看出上述三个问题，只需要两行代码import pandas as pddef analyseMainIndex():

'''

根据历史数据抓取的各主要指数行情，分析大类资产栩置情况

:return:

'''

with engine.connect() as conn, conn.begin():

df = pd.read_sql_table('cron_mainindexquote', conn) #由于数据库当中表的存储方式为长表，需要转换为宽表，具体原理请参见笔者的另一篇简书笔记

#http://www.jianshu.com/p/e7ac9a0f5e6c

df1=df.pivot(index='tradeday', columns='type', values='closeprice') #使用后向填充，作为缺失值处理方式,当然也可以使用前期填充，修改bfill参数值即可

#通过使用lambda匿名函数可以将不同大类资产的价格规范化为[0,1]区间，方便合并展示

df2=df1.fillna(method='bfill').apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x))) #将处理后的规范化的数据直接存储到CSV文件当中，当然此处也可以直接保存到数据库当中

df2.to_csv(r'd:\temp\normalization.csv')

数据展现

数据可视化的意义在于，让人在信息爆炸时代快速、直观地获取自已关注的信息。通过tableau直连前面已经清理整理好的csv数据文件之后，几秒钟之内即可绘制出8类资产价格走势图。效果如下：

8类资产近5年价格走势.png

从上图中可以发现，在这八大类资产当中，小麦、大豆、铜、石油都处于近5年来的相对价格低位，而美元指数、道指、已经处于5年内价格高位，正所谓，人往高处走，水往低处流，那是不是说近5年来的相对低位的资产种类看多就会因为被低估而比较安全呢？至少从近期来看，结论似乎是对的，但相信答案没有那么简单。

工行网银交易截图

图片发自简书App

提出问题，收集数据，学习原理，尝试回答问题，正是数据分析的迷人之处。

作者：dudubird85

链接：https://www.jianshu.com/p/ca0db9803719