来自Daisy和她的单程车票

正在探索机器学习和深度学习的奥妙。

pandas merge,concat,join

注意: pandas的merge和数据库中join原理类似 在数据是dataframe的时候,join底层调用的是merge, 故此,在这个工程中,把所有的join部分连接改为了concat

2018-09-11 10:46:29

阅读数 48

评论数 0

自动生成python环境所需包

列表内容 自动生成requirements.txt文件 安装pipreqs 在工程目录下进入cmd,输入pipreqs . (记住.)不能掉哦,即可生成requirements.txt文件 生成该文件后,如需换机器部署依赖环境,使用pip install -r requirements...

2018-09-07 10:25:38

阅读数 163

评论数 0

原excel有合并单元格这种格式,openpyxl打开然后保存边框消失的问题

python3.5 openpyxl2.5可以用这个文件解决 文件名为:fix_border.py,代码见下面的代码片 在你写代码的那个文件里导入该文件 from fix_border import patch_worksheet 然后在load文件前加上patch_works...

2018-05-14 19:14:07

阅读数 2947

评论数 13

Dropout

Dropout很形象的Dropout如图所示:  关于Dropout,文章中没有给出任何数学解释,Hintion的直观解释和理由如下: 1. 由于每次用输入网络的样本进行权值更新时,隐含节点都是以一定概率随机出现,因此不能保证每2个隐含节点每次都同时出现,这样权值的更新不再依赖于有固定关...

2017-11-06 10:12:18

阅读数 299

评论数 0

正则化

正则化(1) 正则化Regularization1) 正则化(Regularization)对参数w的影响 为了使LOSS’最小,w2部分要求w的值尽量平衡(why),和LOSS共同影响w变化。 正则化中将保留所有的特征变量,但是会减小特征变量的数量级(参数数值的大小) 控制在两个不...

2017-11-06 10:06:48

阅读数 200

评论数 0

关于调节学习率(learning rate)的几点建议

关于调节学习率的几点建议1.对于不同大小的数据集,调节不同的学习率根据我们选择的成本函数F(x)不同,问题会有区别。当平方误差和(Sum of Squared Errors)作为成本函数时, ∂F(ωj)∂ωj\frac{∂F(ω_j)} { ∂ω_j} 会随着训练集数据的增多变得越来越大,因此学...

2017-11-06 09:49:08

阅读数 7506

评论数 0

Lightgbm算法

Lightgbm算法一. 发展过程—-why LightgbmCART模型往往过于简单无法有效地进行预测,因此一个更加强力的模型叫做tree ensemble。1. AdaBoost算法AdaBoost是一种提升树的方法,和三个臭皮匠,赛过诸葛亮的道理一样(类似于专家打分)。 AdaBo...

2017-11-04 10:14:21

阅读数 11151

评论数 6

支持向量机

支持向量机支持向量:与分离超平面距离最近的样本点的实例svm优缺点优点:泛化错误率低,计算开销不大,结果易解释 缺点:对参数调节和核函数选择敏感,原始分类器不加修改仅适用于处理二分类问题 适合数据类型:数值型和标称型数据SMO算法的工作原理:每次循环中选择两个alpha进行优化处理。一旦找到一...

2017-11-03 21:57:38

阅读数 130

评论数 0

k近邻算法(KNN)

k近邻算法KNN定义:给定新样本求其分类y,是从离x最近的k个点的类别中选取最多的分类(投票),定义为x的分类y 优点:精度高,对异常值不敏感,无数据输入假定 缺点:计算复杂度高,空间复杂度高 适合数据范围:数值型和标称型通常k是个不大于20的整数,选择样本数据集中前k个最相似的数据 k值...

2017-11-03 21:35:03

阅读数 86

评论数 0

逻辑回归(Logistic Regression)

逻辑回归(Logistic Regression) 1 极大似然估计(maximum likelihood estimation) 概念: 极大似然估计是一种概率论在统计学的应用,是参数评估的方法之一。 假设 已知某个样本满足满足某种概率分布,但是其中具体的参数并不清楚,参数估计通过若干...

2017-11-03 10:41:39

阅读数 263

评论数 0

XGBoost 函数说明

XGBoost Parameters General Parameters 1 booster defaultgbtree 2 silent default0 3 nthread default to maximum number of threads available if not set 4...

2017-11-03 10:14:14

阅读数 484

评论数 0

Pycharm远程访问ssh,远程访问服务器(xshell访问服务器)

Pycharm远程访问ssh【1】 打开pycharm的File 找到 setting 点击进入 在搜索框中搜索 project 然后找到project interpreter 进入 如图: 【2】点开形如设置图样的图标,然后选中add remote 点击进入,如下图所示: 【3】进入...

2017-11-03 08:53:18

阅读数 3976

评论数 1

pycharm 远程调试

pycharm 远程调试[1] sudo su//进入根目录 [2]pwd//看一下是否在根目录 [3]docker ps //查看当前正在运行的docker, ps -a 所有的docker 无论是正在运行还是不在运行的 //选择要启动的docker [4]docker start yu//启动...

2017-11-03 08:51:25

阅读数 161

评论数 0

安装ubuntu系统和Nvidia显卡驱动

【安装unbuntu16.04系统】 参考网址:http://wenku.baidu.com/link?url=cBpZc_AJ9ycwQeGnJrkwoy2TnrZmPqDyYP1sPFcoKGhqXHXFtbYBoGJy6bJ6_YKtaeJuCB52XnpBjG75y4ebdE2utgWU...

2017-11-03 08:44:27

阅读数 535

评论数 0

凸函数

凸函数有一个很好的性质,即只要能证明我们求解的问题是凸函数,最终得到的解一定是全局最优解首先得注意一下: 中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。Convex Function在中国大陆某些的数学书中,比如说我上大学那会同济版的高等数学就是指凹函数。Concave Func...

2017-10-30 14:49:20

阅读数 11995

评论数 2

SVD分解

研一的时候那会觉得svd分解,好像有点用不着,,到研三的时候才发现这玩意用处可大了,于是就总结一下,便于以后学习。如有不对的地方还望留言,请批评指正哦~ [toc]SVD分解应用领域优缺点公式推导实例分析总结

2017-10-29 10:20:05

阅读数 294

评论数 0

2018应届生招聘(面经)

首先得说明一下,本人是小硕一枚。 大专业:计算机科学与技术,子专业:中医药信息学 方向:机器学习与数据挖掘。 我面试的岗位一般都是算法工程师,大数据挖掘之类。 至于面试过程中的心酸血泪史就不细说了,只谈给我机会面试的几家公司的具体体会(时间不分先后)【任子行】任子行是我第一家面试的公司,所...

2017-10-28 17:19:04

阅读数 808

评论数 0

正则表达式【语法、说明、表达式实例】

正则表达式之前在弄那个网页爬虫的时候,,经常就是被正则表达式弄得焦头烂额,最近在学习nlp分词的时候也经常会用到一些有关于正则的一些东西。 啥都不说了,先上图,这张图表达的比较清楚,,但是对于图中完整匹配的字符串那个实例我自己先前理解的也不是很透彻。但后来,通过查看资料,学习视频等等,对这个也差...

2017-10-28 16:10:24

阅读数 186

评论数 0

MarkDown基本语法

【注】每次写完blog,下一次接着写的时候就忘了LaTex的基本语法,因此,专门写一个文档保存,这样就不会忘了,,好记性不如烂笔头哇,毕竟。。。MarkDown基本语法学习 表格对齐方式 目录生成 插如图片链接 引用 代码块MarkDown基本语法学习1 表格对齐方式分别对应,左对齐方式,中间对齐...

2017-10-25 18:48:42

阅读数 109

评论数 0

LaTex基本语法

【注】隔一段时间写blog的时候,LaTex的语法就基本忘干净了呀,,所以为了在下次忘记慌神之前,偷偷的翻开blog,,会不会很开心,,好记性不如烂笔头,,嗯呐,加油 先提供一个可以写Latex的网页工具吧,狂戳LaTex工具LaTex基本语法–学习整理基本运算一些基本的运算无外乎就是加减乘除,...

2017-10-25 18:09:32

阅读数 231

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭