- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Python multiprocessing多进程编程时读取hdf5文件遇到OSError: Unable to open file的解决方法
近期在处理大批量数据的时候有一种情况是，利用multiprocessing进行并行时，需要从hdf5文件中读取几个大的dataframe。例如以下代码import pandas as pdimport multiprocessing as muldef patent_match(x): store = pd.HDFStore('./data/example_data.h5', 'r') foo = store['foo'] if __name__ == '__ma
2021-10-12 00:57:05
4416
3
原创 简单的低频指数投资二：每天定时获取数据
apscheduler是一个python定时任务框架，我们可以利用它来完成一个每天自动获取数据并且发出交易指令的系统。from apscheduler.schedulers.blocking import BlockingSchedulerimport tusharepro = ts.pro_api(token = token)def update_data(): ''' 获取指数价格以及市盈率等数据的函数 ''' a = data.IndexDataCraw
2021-06-10 00:42:44
259
原创 简单的低频指数投资一：利用tushare计算指数市盈率
对于广大的投资者来说，投资指数基金是最简单而有效的选择。而目前一种投资指数的方法就是通过市盈率等指标来计算指数的估值，并通过低估买入，高估卖出的方法投资。然而tushare只提供了...
2021-06-07 12:19:34
1444
原创 关于python- UnicodeDecodeError: 'utf8' codec can't decode byte 0xc2 in position 问题
该问题是由于文件中存在非utf-8字符而导致的只需要使用codecs,并在读取文件的时候使用:f = codecs.open('article.txt','r',encoding ='utf-8',errors ='ignore')即可,如果是ascii码同理将encoding处改成ascii即可新人写文章,还不会插入代码,格式错误处大家多多包涵,谢谢...
2018-07-16 21:15:40
7855
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人