Github万星，开源强化学习交易框架

最新推荐文章于 2025-03-11 15:05:25 发布

AI大模型入门

最新推荐文章于 2025-03-11 15:05:25 发布

阅读量1.2k

点赞数 17

文章标签： github 人工智能大数据算法 chatgpt 架构

本文链接：https://blog.csdn.net/m0_70486148/article/details/145111424

版权

FinRL：专为金融打造的DRL框架

FinRL 是一个开源的深度强化学习库，专为量化金融设计，旨在帮助用户开发自动化、智能化的股票交易策略。与其他通用DRL框架不同，FinRL 充分考虑了金融市场的独特性，提供了多种专为金融交易优化的功能和工具。

FinRL 的核心优势

1. 三层架构：数据、环境、代理的无缝集成

FinRL 采用了一种创新的三层架构设计，确保了数据处理、环境模拟和代理训练的无缝集成：

数据层：FinRL 提供了多种数据接口，支持从Yahoo Finance、Alpaca、JoinQuant等多个数据源获取金融数据。用户可以轻松地接入历史和实时数据，并进行清洗和特征工程。这一层的设计极大地简化了数据处理流程，让用户能够专注于策略开发。
环境层：基于OpenAI Gym框架，FinRL 模拟了真实的股票市场环境。它不仅提供了多种市场数据集（如NASDAQ-100、DJIA、S&P 500等），还考虑了交易成本、市场流动性、投资者风险偏好等关键因素。这种高保真度的市场模拟环境，使得训练出的交易策略更具现实意义。
代理层：FinRL 集成了多种先进的DRL算法，包括DQN、DDPG、PPO、SAC、A2C、TD3等。这些算法经过金融交易场景的优化，能够更好地处理高维度和连续动作空间的问题。此外，FinRL 还支持用户自定义算法，满足不同用户的需求。

2. 模块化设计：灵活且可扩展

FinRL 的模块化设计是其一大亮点。每个模块都可以单独使用或替换，用户可以根据自己的需求，定制化整个交易系统。例如：

数据预处理模块：用户可以自定义数据清洗和特征工程流程。
环境模块：用户可以创建新的市场环境，模拟不同的市场条件。
代理模块：用户可以设计和实现新的DRL算法，或对现有算法进行改进。

这种灵活性使得FinRL 不仅适合初学者，也能满足专业投资者的需求。

数据模块代码样例：

from finrl.config import config  
from finrl.preprocessing.preprocessors import FeatureEngineer  
  
# Define the technical indicators and other features  
feature_engineer = FeatureEngineer(  
            use_technical_indicator=True,  
            tech_indicator_list = INDICATORS,  
            use_vix=True,  
            use_turbulence=True,  
            user_defined_feature = False)  
  
processed_df = feature_engineer.preprocess_data(data)

环境模块代码样例：

from finrl.env.env_stocktrading import StockTradingEnv  
  
# Define the configuration for the trading environment  
env_config = {  
    'stock_dim': len(ticker_list),  
    'hmax': 100,  # maximum number of shares to buy or sell  
    'initial_amount': 100000,  # starting cash  
    'transaction_cost_pct': 0.001,  # transaction cost percentage  
    'reward_scaling': 1e-4  
}  
  
trading_env = StockTradingEnv(df=processed_df, **env_config)

代理模块代码样例：

env_train = env_setup.create_env_training(data = train,  
                                          env_class = StockPortfolioEnv)  
agent = DRLAgent(env = env_train)  
  
now = datetime.datetime.now().strftime('%Y%m%d-%Hh%M')  
a2c_params_tuning = {'n_steps':5,   
     'ent_coef':0.005,   
     'learning_rate':0.0003,  
     'verbose':0,  
     'timesteps':50000}  
model_a2c = agent.train_A2C(model_name = "A2C_{}".format(now), model_params = a2c_params_tuning)