qq_25987491的博客

转载 哪些机器学习中的归一化 及 利用sklearn的api进行归一化

那些机器学习模型需要归一化： 神经网络，标准差归一化支持向量机，标准差归一化线性回归，可以用梯度下降法求解，需要标准差归一化PCALDA聚类算法基本都需要K近邻，线性归一化，归一到[0,1]区间内。 逻辑回归不需要归一化的模型：决策树： 每次筛选都只考虑一个变量，不考虑变量之间的相关性，所以不需要归一化。随机森林：不需要归一化，mtry为变量个...

转载 lightgbm: windows下快速使用LightGBM安装教程（已编译）

本文是一个关于LightGBM的安装教程。（环境WINDOWS，Anaconda2）在使用LightGBM的时候要先编译一下，windows的玩家可以略过这步，我这里上传一个已经编译好的版本。大家自行下载，然后按照下面的教程，几步就可以完成安装（不超过5分钟） lightGBM地址：http://pan.baidu.com/s/1dFd6eGx第一步：下载好后，随便找个地方解压下来，我...

原创 pandas中apply函数的使用

def get_launch_feature(data, day_start, day_end): features = pd.Series() features['user_id'] = data['user_id'].iloc(0) features['登录次数'] = data.shape[0] features['最后一次登录时间差'] = day_end...

转载 sklearn中GridSearch的使用

GridSearch搞懂了K-fold,就可以聊一聊GridSearch啦,因为GridSearch默认参数就是3-fold的,如果没有不懂cross-validation就很难理解这个.想干什么Gridsearch是为了解决调参的问题.比如向量机SVM的常用参数有kernel,gamma,C等,手动调的话太慢了,写循环也只能顺序运行,不能并行.于是就出现了Gridsearch.通过它...

转载 sklearn中的random_forest

随机森林鉴于决策树容易过拟合的缺点，随机森林采用多个决策树的投票机制来改善决策树，我们假设随机森林使用了m棵决策树，那么就需要产生m个一定数量的样本集来训练每一棵树，如果用全样本去训练m棵决策树显然是不可取的，全样本训练忽视了局部样本的规律，对于模型的泛化能力是有害的产生n个样本的方法采用Bootstraping法，这是一种有放回的抽样方法，产生n个样本而最终结果采用Bagging的策...

转载 sklearn中的Adaboost类库

在集成学习之Adaboost算法原理小结中，我们对Adaboost的算法原理做了一个总结。这里我们就从实用的角度对scikit-learn中Adaboost类库的使用做一个小结，重点对调参的注意事项做一个总结。1. Adaboost类库概述　　　　scikit-learn中Adaboost类库比较直接，就是AdaBoostClassifier和AdaBoostRegressor两个，从名字...

原创 sklearn中模型的选择和各个模型的比较

转载 Pandas：行选择和列选择

Pandas之容易让人混淆的行选择和列选择在刚学Pandas时，行选择和列选择非常容易混淆，在这里进行一下讨论和归纳本文的数据来源：https://github.com/fivethirtyeight/data/tree/master/fandangoimport pandas as pdfandango = pd.read_csv('fandango_score_compari...

转载 tensorflow: 花卉分类

 本文主要通过CNN进行花卉的分类，训练结束保存模型，最后通过调用模型，输入花卉的图片通过模型来进行类别的预测。       测试平台：win 10+tensorflow 1.2       数据集：http://download.tensorflow.org/example_images/flower_photos.tgz       数据集中总共有五种花，分别放在五个文件夹下。       一...

原创 Google Colab文件功能的使用

执行shell命令：语句前加 ' ! '可以执行shell命令!ls输出：create_data.py example.txt save train.pydatalab file_list.txt show 牛津花卉数据集基本上大部分 linux命令都可以这样执行，但是好像vim命令不可以基本代码段的使用：google colab提供了一下方法操...

转载 Google Colab 免费GPU服务器使用教程

一、前言不知道大家是否为了寻找免费GPU服务器而焦头烂额。近些天，谷歌推出了Google Colab（Colaboratory）  划重点，最重要的特点是 免费GPU！免费GPU！免费GPU！虽然不确定这个项目是不是永久的但这无疑给纠结在是否花大量钱租用GPU服务器进行研究的个人研究者带去了重磅福利！经过查阅资料与亲自实践，特把相关教程写成博文分享给大家。由于博主水平能力...