FontTian的专栏 - CSDN博客

置顶 Hyperopt中文文档导读

在2017年的圣诞节前，我翻译了有关HyperOpt的中文文档，这也时填补了空白，以此作为献给所有中国程序员，以及所有其他机器学习相关行业人员的圣诞礼物。圣诞快乐，各位。HyperOpt中文文档导读翻译的文档已经发布于github,请在我的项目Hyperopt_CN中的wiki查看相应文档.Hyp...

原创

2017-12-23 15:56:30

670

0

置顶关于我的CSDN博客的一些要说的话

写博客的目的其实最早开始写博客就是为了把自己的学习笔记和错误日志保存到线上,顺便可以拿拿赚点C币,换换资源分之类的后来慢慢感觉其实有些笔记可以写得更好一些,这样既有利于我个人的使用,或许还能帮助到其他人呢?也正是第一次有了这个想法,然后慢慢的开始筹划写博客,再然后也筹划过个人的博客网站.最后慢...

Scrapy八小时快速入门第一小时:安装,创建与执行我们的Scrapy爬虫

安装安装Scrapy非常简单,只需要在终端输入pip install scrapy,然后执行命令即可,如果不行,那么一般是底层库的问题,可以使用codna install --upgrade scrapy代替之前的命令,虽然anconda的库更新要慢一些,不过一般没什么问题创建项目 ...

快速认识网络爬虫与Scrapy网络爬虫框架

本课程为之后Scrapy课程的预先课程,非常简单,主要是为了完全没有基础的小白准备的,如果你已经有了一定的了解那么请跳过该部分问:什么是网络爬虫答:就是从网上下载数据的一个程序,只不过这个程序下载的东西不是某某网站直接提供给我们的,我们直接从别人的网页上拿来的. 问:为什么是我们自己拿?...

Sklearn中的CV与KFold详解

关于交叉验证,我在之前的文章中已经进行了简单的介绍,而现在我们则通过几个更加详尽的例子.详细的介绍 CV %matplotlib inline import numpy as np from sklearn.model_selection import train_test_split fro...

数据集划分问题

留出法(hold-out) 使用 n:m and n + m =1 的形式对原数据进行分割,例如 train : test = 7 : 3 or train : test = 6.5 : 3.5 但是这种相对原始的处理方式效果并不好,缺点如下: 缺点一:浪费数据缺点二:容易过拟合,且矫正...

Gradient Tree Boosting:梯度提升树详解

理论数学推导请参考《统计机器学习》-李航,或者参考sklearn的官方文档,下面是我的部分笔记,也可以作为参考优缺点 GBRT是对任意的可微损失函数的提升算法的泛化，即可回归亦可分（sai）类（ting）。优点： 1. 对混合数据的的天然处理能力 2. 强大的预测...

集成算法中的Bagging

Bagging meta-estimator 基本描述在集成算法中，bagging 方法会在原始训练集的随机子集上构建一类黑盒估计器的多个实例，然后把这些估计器的预测结果结合起来形成最终的预测结果。该方法通过在构建模型的过程中引入随机性，来减少基估计器的方差(例如，决策树)。在多数情...

RandomForest:随机森林

随机森林：RF 随机森林是一种一决策树为基学习器的Bagging算法，但是不同之处在于RF决策树的训练过程中还加入了随机属性选择（特征上的子采样）传统的决策树在选择划分的属性时，会选择最优属性 RF 首先，从该节点的属性中损及选择出K个属性组成一个随机子集（类也就是Bagging中的Ra...

Feature selection using SelectFromModel

SelectFromModel sklearn在Feature selection模块中内置了一个SelectFromModel，该模型可以通过Model本身给出的指标对特征进行选择，其作用与其名字高度一致，select （feature） from model。 SelectFromMode...

Hyperopt TypeError: 'generator' object is not subscriptable

BUG 最近复用以前的代码,结果发现了一个bug,bug如下: File "/home/michael/work/oanda/src/oanda/trend_prediction/find_optimal_model.py", line 124,...

递归式特征消除：Recursive feature elimination

简述特征的选取方式一共有三种，在sklearn实现了的包裹式(wrapper)特诊选取只有两个递归式特征消除的方法，如下： recursive feature elimination ( RFE )通过学习器返回的 coef_ 属性或者 feature_importances_ 属性来获...

单变量特征选择:Univariate feature selection

sklearn中的单变量特征选择单变量的特征选择是通过基于一些单变量的统计度量方法来选择最好的特征，比如卡方检测等。Scikit-learn 将单变量特征选择的学习器作为实现了 transform方法的对象： sklearn中实现的方法有: SelectKBest 保留评分最高的 K 个...

方差过滤: Removing features with low variance

方差特征选择的原理与使用 VarianceThreshold 是特征选择的一个简单基本方法,其原理在于–底方差的特征的预测效果往往不好。而VarianceThreshold会移除所有那些方差不满足一些阈值的特征。默认情况下，它将会移除所有的零方差特征，即那些在所有的样本上的取值均不变的特征。 ...

hyperopt中文文档:Scipy2013

Scipy2013Font Tian translated this article on 23 December 2017SciPy2013摘要提交标题Hyperopt：用于优化机器学习算法的超参数的Python库作者詹姆斯·伯格斯特拉，丹·维明斯和戴维·C·考克斯(James Bergstra...

hyperopt中文文档:RelatedWork

相关工作Font Tian translated this article on 23 December 2017与Hyperopt相关的软件链接，以及常用的贝叶斯优化工具。使用Hyperopt的软件 hyperopt-sklearn - 使用hyperopt跨Sklearn估计器进行优化（Wo...

hyperopt中文文档:Recipes

食谱(Recipes)Font Tian translated this article on 23 December 2017 如何对一些给定值的配置空间内的一些值进行采样ampling%2520in%2520hyperopt.ipynb)

hyperopt中文文档:Parallelizing-Evaluations-During-Search-via-MongoDB

通过MongoDB在搜索时进行并行计算Font Tian translated this article on 23 December 2017 Hyperopt旨在支持不同类型的试用数据库。默认试用数据库（Trials）是用Python列表和字典实现的。默认实现是一个参考实现，很容易处理，但不...

hyperopt中文文档:Interfacing-With-Other-Languages(在其他语言中使用hyperopt)

其他语言接口Font Tian translated this article on 23 December 2017两种接口策略基本上有两种方法将 hyperopt 与其他语言进行连接：你可以为你的成本函数中编写一个Python包装器，这个函数不是用Python编写的(用Python调用其它语...

hyperopt中文文档:Installation-Notes安装说明

安装说明hyperopt安装说明 Font Tian translated this article on 23 December 2017有关MongoDB的部分Hyperopt要求mongodb（有时候简称“mongo”）来执行并行搜索。据我所知，hyperopt与2.xx系列中的所有版本兼...