将强化学习应用到量化投资中实战篇(环境模块开发)

将强化学习应用到量化投资中实战篇(环境模块开发)

1.环境模块的主要属性和功能

环境模块（environment.py）是一个小模块，用于管理要投资的股票图表数据。environment 模块有一个环境类（Environment）。
属性

• chart_data：股票的图表数据
• observation：当前观察
• idx：图表数据中的当前位置
• PRICE_IDX = 4 收盘价位置

函数功能

• reset()：重置 idx 和观察值
• observe()：将idx移动到下一个位置并更新观察
• get_price()：从当前观察中获取收盘价

2. 源码

下面展示了环境类（Environment）的完整源码。

class Environment:
    PRICE_IDX = 4 

    def __init__(self, chart_data=None):
        self.chart_data = chart_data
        self.observation = None
        self.idx = -1

    def reset(self):
        self.observation = None
        self.idx = -1

    def observe(self):
        if len(self.chart_data) > self.idx + 1:
            self.idx += 1
            self.observation = self.chart_data.iloc[self.idx]
            return self.observation
        return None

    def get_price(self):
        if self.observation is not None:
            return self.observation[self.PRICE_IDX]
        return None

    def set_chart_data(self, chart_data):
        self.chart_data = chart_data

在环境类构造函数中管理股票的图表数据。环境类接收图表数据chart_data作为输入chart_data并将其作为变量存储在对象中。在图表数据中，当前位置的观测值将存储在observation中。 当前位置存储在 idx 中。

Python 提示：__init__()Python 类的构造函数是在创建类的对象时自动调用的函数。通常，从这个函数接收到的值作为变量在对象中赋值。

您可以将图表数据 (chart_data) 视为一个二维数组。RLTrader 使用 Pandas 的类来有效处理这些二维数据结构DataFrame。

observe()在函数中前进一天，并从图表数据中提供观察结果。当没有更多数据要提供时返回None。

Python 提示：len()函数是 Python 内置函数，可返回字符串、列表等的长度。

如果下一个位置小于图表数据的总长度，说明有数据要获取，此时当前位置idx加1，获取图表数据中该位置的元素。

Python 提示：iloc()函数将DataFrame特定行的数据放入函数中。

reset()该函数将我们带回到图表数据的开头。也就是说，我们将当前位置初始化idx为 -1 和observationNone

get_price()该函数从观察到的数据中获取收盘价并将其返回。由于收盘价的位置在第close5 列，因此从零开始的索引PRICE_IDX值是 4。observation是一行，其中索引 4 处的值observation[4]对应于收盘价