python接收广播_有效处理市场广播数据并使用python进行处理

这似乎是一个广泛的问题,但它是准确的,我想实现,所以请阅读它。

我正在构建一个连接到市场广播的应用程序,并订阅了近200张纸条进行广播。每一个脚本每秒接收一次广播。

现在在应用程序中,我想实现两件事:

收集广播,制作1分钟、5分钟、15分钟蜡烛等。

将某些scrip的直播值与预定义值进行比较。

我试过不同的方法来解决这个问题,但只有一种方法显示出最好的效果。即使这不是期望的结果。

我目前的做法:

main.py----->Process----

|

|

------------

| |

broadcast candle

在

broadcast

我拿到广播,点上1分钟的蜡烛,把它通过

Pipe()

连接到蜡烛。在

candle

问题:

每一个符号/每根蜡烛的形成需要将近一秒钟的时间。我用

pandas

数据帧,用于存储数据,然后

groupby()

形成蜡烛的操作。

没有广播比较的余地。

我想用HDF5来存储数据,用dask来处理数据,但这值得吗?(我从未在HDF5/dask上工作过)。

欢迎提出任何建议。谢谢!

这是我根据所需频率制作蜡烛的代码。

请注意,在我从主数据帧分割scrip数据之后,它会为每个scrip调用。

def __create_minutes_candles(self, data=None, freq=None, latest=True):

start_time = time()

data = data if isinstance(data, pd.DataFrame)