![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine-learning
weijian001
这个作者很懒,什么都没留下…
展开
-
XGBoost的以mae作为优化目标探究
1 mae/mad和mse介绍Mse:mean-square error。可导,常常作为loss function。 MSE(y,yˆ)=1nsamples∑i=0nsamples−1(y−yˆ)2MSE(y,\widehat{y}) = \frac{1}{n_{samples}} \sum_{i=0}^{n_{samples}-1}(y-\widehat{y})^{2} Mae:mean原创 2017-12-15 19:37:23 · 4737 阅读 · 0 评论 -
缓解pandas中DataFrame占用内存过大的问题
本文最后修改于2018-01-21,文章有问题或者转载请及时联系本人,如果对你有帮助,别忘了点下关注~0 背景在我们使用pandas进行数据处理的时候,有时候发现文件在本地明明不大,但是用pandas以DataFrame形式加载内存中的时候会占用非常高的内存,本文即解决这样的问题。1 原因如果是计算机相关专业的同学,你应该知道int8,int16,int64的区别。如果你忘记了,那...原创 2018-01-21 14:54:00 · 14199 阅读 · 0 评论 -
什么是P问题,NP问题,NPC问题,NP-Hard问题
本文搬运自什么是P问题、NP问题和NPC问题,作者是Matrix67,本文在原文之上略做修改,加黑了重点的地方, 对部分稍难理解的地方做了解释,原文已经讲的非常清楚了,向原作者致敬(作者12年前写这篇文章的时候应该只是高中生),转载请保留原作者信息!如果你觉着我的博客对你有帮助,麻烦点下喜欢和关注哦!最近组里重新分享关于优化的部分知识,其中涉及到复杂度的问题,又重新提起了被我扔掉很久的NP...原创 2018-01-26 15:59:00 · 2328 阅读 · 0 评论 -
谷歌机器学习术语表
https://developers.google.cn/machine-learning/glossary/原创 2018-03-20 16:21:00 · 391 阅读 · 0 评论 -
Jupyter Notebook 增加kernel的方法
jupyter notebook 增加kernel的方法有很多朋友会遇到这样一个问题:在anaconda中创建了多个环境,也许python版本是一样的,但是装的包以及版本不一样。启动jupyter notebook后,在new的下拉菜单中却无法使用这些环境。本文就解决这样的问题。假如我现在Ubuntu系统自带的python是python2,anaconda默认的是python3,我还有一个原创 2018-07-19 11:55:59 · 30211 阅读 · 7 评论 -
稀疏矩阵存储格式CSC(Compressed Sparse Columns Format)
最近在看XGBoost的论文,其中提到为了并行学习,我们使用了Column Block的这种方法[1],而每个Block中的数据,我们就是以CSC形式存储的。本文根据网络内容重新整理,介绍下CSC这种格式。主要参考自理解Compressed Sparse Column Format (CSC)目的 CSC的目的就是用来压缩矩阵,主要是使用一些信息来表示矩阵中非0元素存储的位置。Spark原创 2018-01-15 19:27:57 · 9645 阅读 · 2 评论 -
XGBoost参数详解
本文参考自 Complete Guide to Parameter Tuning in XGBoost (with codes in Python),在其翻译基础上个别地方加上了自己的补充。XGBoost的优点正则 标准的GBM实现是没有正则的。XGBoost也以regularized boosting技术闻名。并行处理 XGBoost实现了并行化的处理。XGBoost基于原创 2017-12-13 21:11:00 · 2699 阅读 · 0 评论 -
mac上XGBoost多线程版本安装[mac][high sierra]
本文最后更新于2017/12/28,看起来很多,实际安装命令很少,多数内容在总结安装过程中可能出现的问题。各版本情况:mac:10.13.2XGBoost:0.6gcc:7.2关于xgboost的安装我们可以参考官方文档:Installation Guide,但是使用mac的同学要注意,默认我们使用pip安装的xgboost并不是多线程的,包括未安装gcc直接从源码编译的也不是多线程的。下面我们介绍原创 2017-12-28 20:58:18 · 1394 阅读 · 0 评论 -
Pandas中使用loc将列表等集合赋值给行或列的每一个元素
0.背景在使用Pandas进行数据处理过程当中,有时候需要将数据的某一列都赋值为某一个列表的形式。但是如果列的元素个数与列表的元素个数相同时赋值,会导致列表中的每一个元素对应到了列的一个表格中(详情见下)。本文即解决这样的问题。1.对应赋值import pandas as pdimport numpy as npdata = pd.DataFrame({"A":np.aran...原创 2018-08-08 16:23:11 · 15580 阅读 · 0 评论