特征的转换_02-连续变量的离散化


笔记整理时间:2017年1月17日
笔记整理者:王小草

今日记事:
把头发高高盘起,画上一字眉。工作后就少了太多锐气,磨得圆滑尚且是好,但圆了就难免要缺失点笃定的方向,最怕滚来滚去,滚回起点。
而方向越笃定,心越沉下来,难免要变得好安静。


1. 二元转换Binarizer

Binarizer是将连续型变量根据某个阀值,转换成二元的分类变量。小于该阀值的转换为0,大于该阀值的转换为1.

如下:输入的是0.1,0.8,0.9连续型变量,目的是要以0.5为阀值来转换成二元变量(0,1)。

/**
  * Created by cc on 17-1-17.
  */
object FeatureTransform01 {
   

  def main(args: Array[String]) {

    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

    val conf = new SparkConf().setAppName("FeatureTransform01").setMaster("local")
    val sc = new SparkContext(conf)

    val spark = SparkSession
      .builder()
      .appName("Feature Extraction")
      .config("spark.some.config.opti
  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本文比较了 Howard (1960) 策略迭代算法的性能,用于使用状态空间或网格的替代随机、准随机和确定性离散化的无限范围连续状态马尔可夫决策过程 (MDP)。 每个网格对应于一个嵌入式有限状态马尔可夫决策过程,其解用于逼近原始连续状态马尔可夫决策过程的解。 扩展 Rust (1997) 的结果,我表明使用随机网格的策略迭代成功地打破了将解近似为一称为离散决策过程 (DDP) 的连续状态离散动作 MDP 所涉及的维数诅咒。 我将这种“随机策略迭代算法”(RPI)与使用确定性择的网格的策略迭代算法进行比较,包括均匀网格和“正交网格”,这两种网格都受到“维度诅咒”的影响。 我还将 RPI 算法与基于准随机或“低差异网格”(例如 Sobol 和 Tezuka 序列)的确定性策略迭代算法进行了比较。 虽然对 DDP 问题的“最坏情况”计算复杂性的分析表明,任何确定性解决方案方法都受制于固有的维数灾难,但我的数值比较表明,在所考虑的测试问题中,使用确定性、低差异网格的策略迭代优于 RPI 算法。 反过来,当 MDP 问题中的转换密度足够平滑时,即使在一维和二维测试问题中,RPI 算法也优于使用基于均匀和正交网格的方法的确定性策略迭代,但在以下问题中可能不如后者方法转换密度具有较大的不连续性或尖峰,违反了建立 RPI 算法的均匀收敛所需的规律性条件。 这一发现表明,使用低差异网格的策略迭代算法可能会成功打破“平均情况”设置中的维数诅咒,因为在多变量问题中,这些方法的收敛速度超过了基于随机网格的方法的收敛速度,其他确定性择的网格,因此在 MDP 问题的转换密度中没有大的尖峰或不连续性的问题中往往优于这些方法。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值