GridSearchCV/RandomizedSearchCV

最新推荐文章于 2023-02-06 09:54:52 发布
最新推荐文章于 2023-02-06 09:54:52 发布
阅读量677 收藏 5
点赞数 2
分类专栏： Z类分类_python包的使用 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yycoolsam/article/details/103731563
版权

这篇文章所用的数据是以基于tushare数据多维度时间序列lstm预测股票价格为基础经行测试开发。
整体架构与之前的一致。

GridSearchCV + keras.wrappers.scikit_learn 的使用

import pandas as pd
import numpy as np


def create_dataset(X,Y,window_size = 30,predict_size = 5):
    data_X, data_Y = [], []
    for i in range(len(X) - window_size - predict_size + 1):
        a = X[i:(i + window_size)]
        data_X.append(a)
        data_Y.append(Y[i + window_size :i + window_size + predict_size,0])
    return(np.array(data_X), np.array(data_Y))

from sklearn.preprocessing import MinMaxScaler
def minMaxScaler(df,feature_range=(0, 1)):
    scaler = MinMaxScaler(feature_range=feature_range)
    data_raw = pd.DataFrame(df).values.astype("float32")
    scaler.fit(data_raw)
    return scaler

from keras.models import Sequential
from keras.layers.recurrent import LSTM
from keras.layers.core import Dense, Activation, Dropout
from keras.callbacks import EarlyStopping
from keras import optimizers
from keras import backend

def createModel(input_shape,output_shape,optimizer="adam"):
    model = Sequential()
    model.add(LSTM(64, input_shape=input_shape, return_sequences=True))
    model.add(Dense(32))
    # model.add(Dropout(0.0002))
    # model.add(LSTM(64, return_sequences=True))
    # model.add(Dropout(0.0002))
    model.add(LSTM(32))
    model.add(Dense(output_shape))
    model.compile(loss="mean_squared_error", optimizer= optimizer, metrics=['accuracy'])
    model.summary()
    return model

if __name__ == '__main__':
    data = pd.read_csv('../data/data.csv')
    data = data.sort_values('trade_date').reset_index(drop=True)

    temp_data = data.copy()
    # #####################################数据预处理###############################
    scaler = minMaxScaler(temp_data.vol)
    temp_data.vol = \
    scaler.transform(pd.DataFrame(temp_data.vol).values.astype("float32"))

    scaler = minMaxScaler(temp_data.turnover_rate)
    temp_data.turnover_rate = \
    scaler.transform(pd.DataFrame(temp_data.turnover_rate).values.astype("float32"))

    scaler = minMaxScaler(temp_data.net_mf_vol,feature_range=(-1, 1))
    temp_data.net_mf_vol = \
    scaler.transform(pd.DataFrame(temp_data.net_mf_vol).values.astype("float32"))

    scaler = minMaxScaler(temp_data.close)
    temp_data.close = \
    scaler.transform(pd.DataFrame(temp_data.close).values.astype("float32"))
    # #############################################################################
    # #####################################构造数据#################################
    print(temp_data.isnull().any())
    train_data = temp_data[temp_data['trade_date'] <= 20191216]
    test_data = temp_data[temp_data['trade_date'] >= 20190301]



    train_X = pd.DataFrame(train_data[['close', 'vol', 'turnover_rate', 'net_mf_vol']]).values
    train_Y = pd.DataFrame(train_data['close']).values
    test_X = pd.DataFrame(test_data[['close', 'vol', 'turnover_rate', 'net_mf_vol']]).values
    test_Y = pd.DataFrame(test_data['close']).values


    window_size = 90
    predict_size = 5
    train_X,train_Y = create_dataset(train_X, train_Y, window_size=window_size, predict_size=predict_size)
    test_X,test_Y = create_dataset(test_X, test_Y, window_size=window_size, predict_size=predict_size)
    print(f'train_X.shape: {train_X.shape}   train_Y.shape: {train_Y.shape} \n'
          f'test_X.shape: {test_X.shape}     test_Y.shape: {test_Y.shape} ')

    # #############################################################################
    # #####################################构造模型#################################

    early_stopping = EarlyStopping('loss', patience=50)
    adam = optimizers.Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.0, amsgrad=False)
    sgd = optimizers.SGD(lr=0.001, momentum=0.0, decay=1e-4, nesterov=False)
    input_shape = (train_X.shape[1], train_X.shape[2])
    output_shape = train_Y.shape[1]

    # 第1次测试 大约60倍时间
    from sklearn.model_selection import GridSearchCV
    from keras.wrappers import scikit_learn  # https://keras.io/zh/scikit-learn-api/


    model = scikit_learn.KerasRegressor(build_fn=createModel, nb_epoch=2)
    param_grid = dict(epochs=[150, 300, 450],
                      batch_size=[16, 32],
                      input_shape = [input_shape],
                      output_shape = [output_shape]
                      )
    grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=1)
    grid_result=grid.fit(train_X, train_Y,verbose=2, callbacks=[early_stopping])
    backend.clear_session()

    print('Best: {} using {}'.format(grid_result.best_score_, grid_result.best_params_))
    means = grid_result.cv_results_['mean_test_score']
    stds = grid_result.cv_results_['std_test_score']
    params = grid_result.cv_results_['params']
    for mean, std, param in zip(means, stds, params):
        print("%f (%f) with: %r" % (mean, std, param))

    # 第2次测试 大约20倍时间
    model = scikit_learn.KerasRegressor(build_fn=createModel, nb_epoch=2)
    param_grid = dict(epochs=[150],
                      batch_size=[32],
                      optimizer=['sgd', 'rmsprop', 'adam', 'adagrad'],
                      input_shape = [input_shape],
                      output_shape = [output_shape]
                      )
    grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=1)
    grid_result=grid.fit(train_X, train_Y,verbose=2, callbacks=[early_stopping])
    backend.clear_session()

    print('Best: {} using {}'.format(grid_result.best_score_, grid_result.best_params_))
    means = grid_result.cv_results_['mean_test_score']
    stds = grid_result.cv_results_['std_test_score']
    params = grid_result.cv_results_['params']
    for mean, std, param in zip(means, stds, params):
        print("%f (%f) with: %r" % (mean, std, param))

    # 第3次测试
    model = scikit_learn.KerasRegressor(build_fn=createModel, nb_epoch=2)
    param_grid = dict(epochs=[150, 300, 450],
                      batch_size=[16, 32],
                      optimizer=['sgd', 'rmsprop', 'adam', 'adagrad'],
                      input_shape = [input_shape],
                      output_shape = [output_shape]
                      )
    grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=1)
    grid_result=grid.fit(train_X, train_Y,verbose=2, callbacks=[early_stopping])
    backend.clear_session()

    print('Best: {} using {}'.format(grid_result.best_score_, grid_result.best_params_))
    means = grid_result.cv_results_['mean_test_score']
    stds = grid_result.cv_results_['std_test_score']
    params = grid_result.cv_results_['params']
    for mean, std, param in zip(means, stds, params):
        print("%f (%f) with: %r" % (mean, std, param))

    # #############################################################################

RandomizedSearchCV + keras.wrappers.scikit_learn 的使用

import pandas as pd
import numpy as np


def create_dataset(X, Y, window_size=30, predict_size=5):
    data_X, data_Y = [], []
    for i in range(len(X) - window_size - predict_size + 1):
        a = X[i:(i + window_size)]
        data_X.append(a)
        data_Y.append(Y[i + window_size:i + window_size + predict_size, 0])
    return (np.array(data_X), np.array(data_Y))


from sklearn.preprocessing import MinMaxScaler


def minMaxScaler(df, feature_range=(0, 1)):
    scaler = MinMaxScaler(feature_range=feature_range)
    data_raw = pd.DataFrame(df).values.astype("float32")
    scaler.fit(data_raw)
    return scaler


from keras.models import Sequential
from keras.layers.recurrent import LSTM
from keras.layers.core import Dense, Activation, Dropout
from keras.callbacks import EarlyStopping
from keras import optimizers
from keras import backend


def createModel(input_shape, output_shape, optimizer="adam"):
    model = Sequential()
    model.add(LSTM(64, input_shape=input_shape, return_sequences=True))
    model.add(Dense(32))
    # model.add(Dropout(0.0002))
    # model.add(LSTM(64, return_sequences=True))
    # model.add(Dropout(0.0002))
    model.add(LSTM(32))
    model.add(Dense(output_shape))
    model.compile(loss="mean_squared_error", optimizer=optimizer, metrics=['accuracy'])
    model.summary()
    return model


if __name__ == '__main__':
    data = pd.read_csv('../data/data.csv')
    data = data.sort_values('trade_date').reset_index(drop=True)

    temp_data = data.copy()
    # #####################################数据预处理###############################
    scaler = minMaxScaler(temp_data.vol)
    temp_data.vol = \
        scaler.transform(pd.DataFrame(temp_data.vol).values.astype("float32"))

    scaler = minMaxScaler(temp_data.turnover_rate)
    temp_data.turnover_rate = \
        scaler.transform(pd.DataFrame(temp_data.turnover_rate).values.astype("float32"))

    scaler = minMaxScaler(temp_data.net_mf_vol, feature_range=(-1, 1))
    temp_data.net_mf_vol = \
        scaler.transform(pd.DataFrame(temp_data.net_mf_vol).values.astype("float32"))

    scaler = minMaxScaler(temp_data.close)
    temp_data.close = \
        scaler.transform(pd.DataFrame(temp_data.close).values.astype("float32"))
    # #############################################################################
    # #####################################构造数据#################################
    print(temp_data.isnull().any())
    train_data = temp_data[temp_data['trade_date'] <= 20191216]
    test_data = temp_data[temp_data['trade_date'] >= 20190301]

    train_X = pd.DataFrame(train_data[['close', 'vol', 'turnover_rate', 'net_mf_vol']]).values
    train_Y = pd.DataFrame(train_data['close']).values
    test_X = pd.DataFrame(test_data[['close', 'vol', 'turnover_rate', 'net_mf_vol']]).values
    test_Y = pd.DataFrame(test_data['close']).values

    window_size = 90
    predict_size = 5
    train_X, train_Y = create_dataset(train_X, train_Y, window_size=window_size, predict_size=predict_size)
    test_X, test_Y = create_dataset(test_X, test_Y, window_size=window_size, predict_size=predict_size)
    print(f'train_X.shape: {train_X.shape}   train_Y.shape: {train_Y.shape} \n'
          f'test_X.shape: {test_X.shape}     test_Y.shape: {test_Y.shape} ')

    # #############################################################################
    # #####################################构造模型#################################

    early_stopping = EarlyStopping('loss', patience=50)
    adam = optimizers.Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, decay=0.0, amsgrad=False)
    sgd = optimizers.SGD(lr=0.001, momentum=0.0, decay=1e-4, nesterov=False)
    input_shape = (train_X.shape[1], train_X.shape[2])
    output_shape = train_Y.shape[1]

    from datetime import datetime
    start_time = datetime.now()


    # 第1次测试
    from sklearn.model_selection import RandomizedSearchCV
    from keras.wrappers import scikit_learn  # https://keras.io/zh/scikit-learn-api/

    model = scikit_learn.KerasRegressor(build_fn=createModel, nb_epoch=2)
    distributions  = dict(epochs=[150, 300, 450],
                      batch_size=[16, 32],
                      optimizer=['sgd', 'rmsprop', 'adam', 'adagrad'],
                      input_shape=[input_shape],
                      output_shape=[output_shape]
                      )
    grid = RandomizedSearchCV(estimator=model, param_distributions=distributions, n_jobs=1)
    grid_result = grid.fit(train_X, train_Y, verbose=2, callbacks=[early_stopping])
    backend.clear_session()

    end_time = datetime.now()
    print((end_time - start_time).seconds) # 10920

    print('Best: {} using {}'.format(grid_result.best_score_, grid_result.best_params_))
    means = grid_result.cv_results_['mean_test_score']
    stds = grid_result.cv_results_['std_test_score']
    params = grid_result.cv_results_['params']
    for mean, std, param in zip(means, stds, params):
        print("%f (%f) with: %r" % (mean, std, param))
    # #############################################################################

测试效果

人工调参
在这里插入图片描述
在这里插入图片描述
自动调参
在这里插入图片描述
在这里插入图片描述

雪球干死黄旭东
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【小白学习keras教程】十、三种Model Selection方法：k-fold cross-validation，GridSearchCV和RandomizedSearchCV
微信号：RunsenLiu
07-15 1272
@Author：Runsen Model Selection是划分训练集和测试集的手段，下面总结了三种Model Selection方法。 k-fold cross-validation using scikit-learn wrapper grid search using scikit-learn wrapper random search using scikit-learn wrapper k-fold cross-validation 模型验证和选择最常用的方法之一 将训练数据集划分为k子集
Grid SearchCV（网格搜索）与RandomizedSearchCV （随机搜索）
xiaohutong1991的专栏
08-12 7515
一、引言 在机器学习模型中，需要人工选择的参数称为超参数。比如随机森林中决策树的个数，人工神经网络模型中隐藏层层数和每层的节点个数，正则项中常数大小等等，他们都需要事先指定。超参数选择不恰当，就会出现欠拟合或者过拟合的问题。而在选择超参数的时候，有两个途径，一个是凭经验微调，另一个就是选择不同大小的参数，带入模型中，挑选表现最好的参数。 微调的一种方法是手工调制超参数，直到找到一个好的超参数组合，这么做的话会非常冗长，你也可能没有时间探索多种组合，所以可以使用Scikit-Learn的GridSearc
GridSearchCV与RandomizedSearchCV
ningyanggege的博客
04-22 815
RandomizedSearchCV使用案例： #Loading libraries import pandas as pd import numpy as np pd.options.display.max_rows = 999 pd.options.display.max_columns = 999 from sklearn.model_selection import train_t...
GridSearchCV 与 RandomizedSearchCV 调参
热门推荐
juezhanangle的博客
04-23 3万+
  好久没写博客了，原因是最近比较忙，一下报了两个比赛，今天终于最后一个比赛的初赛都结束了，抽点小空赶紧总结一下，先汇报下成绩吧。IJCAI2018 阿里妈妈广告算法大赛，初赛第六。FASHIONAI属性识别大赛初赛25 。复赛加油，争取取得更好的成绩。   昨天和前天都加班调参了，但是由于是新手，所以遇到很多困难，刚好看到一片博客，关于调参的，所以这里我就引过来，以备后面查阅和使用的方便，如果有...
GridSearchCV和RandomizedSearchCV分别适用哪些情形
最新发布
08-20
GridSearchCV和RandomizedSearchCV都是Python scikit-learn库中用于超参数优化的工具，它们主要用于寻找模型的最佳参数组合，以便提高模型性能。 1. **GridSearchCV** (网格搜索交叉验证)：适用于需要穷举所有可能...
使用GridSearchCV和RandomizedSearchCV进行超参数调整
weixin_26752765的博客
09-05 2448
In Machine Learning, a hyperparameter is a parameter whose value is used to control the learning process. 在机器学习中， 超参数是一个参数，其值用于控制学习过程。 Hyperparameters can be classified as model hyperparameters, whic...
GridSearchCV、RandomizedSearchCV 相同和不同、优点和缺点
05-28
GridSearchCV 和 RandomizedSearchCV 都是用于调优模型参数的工具，它们的相同点和不同点以及优缺点如下： 相同点： 1. 都是用于帮助我们选择合适的模型参数。 2. 都是基于交叉验证的方法来评估模型性能。 3. 都...
sklearn超参数调整方法 [GridSearchCV, RandomizedSearchCV]
墨流觞的博客
09-27 6881
模型调整， 假设已经找到了一些潜在的模型，下面是几种方法用于模型调整 1. 超参数修改 网格搜索 (grid searh) 一种方法是手动调整超参数(hyperparameters)。 GridSearchCV,参数为你想调整的超参数和该超参数的值。 class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring...
自动超参数优化：算法和应用综述论文.pdf
03-16
本文对HPO中最基本的主题进行了综述。第一部分介绍了与模型训练和结构相关的关键超参数，并讨论了它们的重要性和定义值范围的方法。然后，研究了主要的优化算法及其适用性，包括它们的效率和准确性，特别是对于深度学习网络。本研究接下来将回顾HPO的主要服务和工具包，比较它们对最先进的搜索算法的支持、与主要深度学习框架的可行性以及用户设计的新模块的可扩展性。
模型调参 | 网格搜索（GridSearchCV）与随机搜索（RandomizedSearchCV）
用途：中英文学习笔记，如有侵权，可评论留言，及时清理；学历：NUS计算机硕士；SYSU地球物理学士
07-19 7051
模型微调 1.网格搜索 微调的一种方法是手工调整超参数，直到找到一个好的超参数组合。这么做的话会非常冗长，你也可能没有时间探索多种组合。 你应该使用 Scikit-Learn 的 GridSearchCV 来做这项搜索工作。你所需要做的是告 诉GridSearchCV 要试验有哪些超参数，要试验什么值， GridSearchCV 就能用交叉验证试验所有可能超参数值的组合。例如，下面的代码搜索了 RandomForestRegressor 超参数值的最佳组合: from sklearn.model_selec
暴力调参——GridSearchCV、RandomizedSearchCV、贝叶斯优化
青春正年少我要大声笑lamusique
08-10 1万+
https://blog.csdn.net/juezhanangle/article/details/80051256 http://www.360doc.com/content/18/0707/15/7669533_768542933.shtml 常用的暴力调参方法，我记得提到过GridSearchCV方法，它是基于网格搜索+交叉验证的，好像也没有怎么提到过其他的方法，今天就把他们补全好了...
Sklearn超参调优手段：网格搜索（Grid Search）和随机搜索（Randomized Search）
Laurence的技术博客
02-06 2987
超参调优是“模型调优”（Model Tuning)阶段最主要的工作，是直接影响模型最终效果的关键步骤，然而，超参调优本身却是一项非常低级且枯燥的工作，因为它的策略就是：不断变换参数值，一轮一轮地去“试”，直到找出结果最好的一组参数。显然，这个过程是可以通过编程封装成自动化的工作，而不是靠蛮力手动去一遍一遍的测试。为此，Sklearn提供了多种（自动化）超参调优方法（官方文档），其中网格搜索（Grid Search）和随机搜索（Randomized Search）是最基础也是最常用的两个
一个RandomizedSearchCV和GridSearchCV组合使用调参的例子------先随机大致搜索，再网格精细化搜索
lizz2276的博客
06-03 2177
温度预测示例&参数优化工具RandomizedSearchCV taon关注 0.1292019.12.06 18:18:08字数 2,203阅读 523 一般情况下，我们做数据挖掘任务都是按照“数据预处理 - 特征工程 - 构建模型（使用默认参数或经验参数） - 模型评估 - 参数优化 - 模型固定”这样一个流程来处理问题。这一小节，我们要讨论的主题就是参数优化，前面我们讨论过GridSearchCV（网格搜索）这个工具，它是对我们的参数进行组合，选取效果最好的那组参数。 d.
GridSearchCV和RandomizedSearchCV（以SVM为例）
ucler的博客
11-21 1188
参考代码 CC = [] gammas = [] for i in range(-5, 16, 2): CC.append(2 ** i) for i in range(3, -16, -2): gammas.append(2 ** i) param_grid = {"C": CC, "gamma": gammas} gs = GridSearchCV(SVC(probability=True), param_grid, cv=
sklearn.model_selection.GridSearchCV 中文
weinidakaishijian的博客
04-18 5776
网格搜索最佳参数GridSearchCV class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=1,iid=True, refit=True, cv=None, verbose=0, pre_dispatch='2*n_jobs', error
XGBoost gridcv（learning_rate and n_estimators）
weixin_37136725的博客
03-26 1576
程序 # XGBoost on Otto dataset, Tune learning_rate and n_estimators from pandas import read_csv from xgboost import XGBClassifier from sklearn.model_selection import GridSearchCV from sklearn.model_sel
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值