2017年07月_LegenDavid

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 LIBSVM与LIBLINEAR

LIBSVM与LIBLINEAR对于多分类问题以及核函数的选取，以下经验规则可以借鉴：如果如果特征数远远大于样本数的情况下,使用线性核就可以了.如果特征数和样本数都很大,例如文档分类,一般使用线性核, LIBLINEAR比LIBSVM速度要快很多.如果特征数远小于样本数,这种情况一般使用RBF.但是如果一定要用线性核,则选择LIBLINEAR较好,而且使用-s 2选项

2017-07-27 11:54:25 827

转载 SVM 核函数的选择

1、经常使用的核函数核函数的定义并不困难，根据泛函的有关理论，只要一种函数K(xi,xj)满足Mercer条件，它就对应某一变换空间的内积．对于判断哪些函数是核函数到目前为止也取得了重要的突破，得到Mercer定理和以下常用的核函数类型：(1)线性核函数K(x,xi)=x⋅xi(2)多项式核K(x,xi)=((x⋅xi)+1)d(3)径向基核（RBF

2017-07-17 18:38:18 863

转载 SVM 准备工作(SVM vs LR)

一、SVM vs LR综述两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大

2017-07-17 18:36:30 398

转载交叉验证(Cross Validation)方法思想简介

交叉验证(CrossValidation)方法思想以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以

2017-07-17 17:59:23 294

转载 python 中 os._exit()， sys.exit()， exit() 的区别是什么？

1. sys.exit(n) 退出程序引发SystemExit异常, 可以捕获异常执行些清理工作. n默认值为0, 表示正常退出. 其他都是非正常退出. 还可以sys.exit("sorry, goodbye!"); 一般主程序中使用此退出.2. os._exit(n), 直接退出, 不抛异常, 不执行相关清理工作. 常用在子进程的退出.3. exit()/quit(), 跑出System

2017-07-17 12:06:15 452

原创 hadoop streaming的job中出现IOError: [Errno 32] Broken pipe

通过查看失败task的counter发现没有input数据再看task的log找到具体的数据片，发现数据中某一行有8000w个字符，删除改行就好了初步估计是标准输入输出有长度限制或者hadoop的streaming有限制，暂时未确定

2017-07-13 11:06:57 2436

转载修改/proc/sys/kernel/sem，但保存的时候保存不了，报错：Fsync failed

这是VI的问题用vi编辑一个文件的时候，vi首先为这个文件创建一个副本，这个副本通常命名为 .your_file_name.swp当结束编辑，选择保存的时候，vi用这个副本文件替换掉原文件。proc文件系统下的文件都是内存中的影像，显然不支持此种编辑方式。修改办法 echo value >yourfile 原文地址：http://bbs.chi

2017-07-12 16:26:18 1590

转载 spark参数调优

摘要　　1.num-executors　　2.executor-memory　　3.executor-cores　　4.driver-memory　　5.spark.default.parallelism　　6.spark.storage.memoryFraction　　7.spark.shuffle.memoryFraction　　

2017-07-12 12:41:02 403

转载 Spark2.1.0入门：Spark的安装和使用

2017-07-11 17:10:34 3234

ML step by step

ML step by step ML step by step ML step by step ML step by step ML step by step ML step by step ML step by step ML step by step ML step by step

2017-09-21

在线最优化求解(Online Optimization)-冯扬-2014.12.0

2017-04-06

python 正则表达式 findall和search的问题

2015-09-23

TA创建的收藏夹 TA关注的收藏夹

TA关注的人