本文针对以下链接进行学习
链接: 爬取东方财富网上的股票信息.
由于后来发现爬的都是指数基金的股票,便转向观看其它文章
目前发现一个比较好的python开源的财经数据包接口,Tushare
Tushare简介
Tushare是一个免费、开源的python财经数据接口包。拥有丰富的数据内容,如股票、基金、期货、数字货币等行情数据,公司财务、基金经理等基本面数据,后续开通债券、外汇、行业、大数据、区块链。Tushare返回的绝大部分的数据格式都是pandas DataFrame类型,非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。
官网:https://tushare.pro/register?reg=361791
了解各个模块
pandas简介
Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。
链接: pandas 简单使用与语法.
JSON简介
JSON定义:JSON是轻量级的数据交换格式,全称JavaScript 对象表示法
(JavaScript Object Notation)
JSON 数据的书写格式是:名称/值对
"firstName" : "John"
{
"employees": [`在这里插入代码片`
{ "firstName":"John" , "lastName":"Doe" },
{ "firstName":"Anna" , "lastName":"Smith" },
{ "firstName":"Peter" , "lastName":"Jones" }
]
}
JSON的由来
将JAVA对象存储到硬盘或将其进行网络传输,首先需要将其序列化为二进制的字节流,在使用时又要将其反序列化,把字节流变成JAVA对象。
为避免在网络传输过程中双方必须均使用JAVA,且序列化与反序列化的类必须一致的问题,产生了JSON。JSON语言中立,无论客户端使用什么语言,都支持解析。且,相比XML数据精简,传输效率更高。
JSON入门教程: JSON入门看这一篇就够了.
添加写excel功能
一篇比较好的pandas.dataFrame对excel的操作文章
Pandas.DataFrame对Excel操作笔记.
由于pandas在写入excel时,会把原来sheet中的内容擦除,且只保留一个sheet,为了解决这个问题,有以下这种的解决办法。需要使用到xlrd,xlwt,pandas和openpyxl四个模块。需要使用到writer。
import pandas
from openpyxl import load_workbook
df = pandas.read_excel('test.xlsx')
print df
book = load_workbook('test2.xlsx')
writer = pandas.ExcelWriter('test2.xlsx', engine='openpyxl')
writer.book = book
writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
df.to_excel(writer, "Main",index=0,startrow=0,startcol=0)
writer.save()
有时需要对dataframe进行合并其方法在下面链接中有描述
将pandas.dataframe进行合并、连接的方法.
除此之外python写入excel还有以下链接
链接: python 写入Excel文件.
疑问
1.为什么PYPI(The Python package index)里面的安装包,whl文件会比tar.gz压缩包小