用surprise实现SVD协同过滤推荐算法对本地数据做推荐

引入 surprise是Simple Python Recommendation System Engine的缩写,是一个为了实现推荐系统的框架。它自带了SVD,user-based,item-based协同过滤算法等多种推荐算法,接口简单,功能强大。但官方文档写的并不好,笔者花了不少时间,都没有...

2019-05-21 21:56:17

阅读数 28

评论数 0

通过对比Bagging/Boosting/RF/GDBT来理解XGB

引入 用过XGB模型的人,都大致知道,XGB是由多棵树组成的,像一片森林,这是一种集成学习方法。但是,这片森林里的每棵树都是通过纯度计算与分支划分得到的吗?多棵树是如何组合(集成)在一起共同做决策的呢?XGB和RandomForest是什么区别?XGB和GDBT又有什么区别呢? 如何才能解释这些问...

2019-05-05 22:19:35

阅读数 23

评论数 0

linux下如何将大文件分为多个小文件

背景 我们跑在linux上程序,有时候打出的log很大,动不动就是几个G。即不方便查阅,也不方便下载、传输。有没有办法(命令最好)把这样的大文件拆分为多个小文件呢? 拆分文件的Linux命令 (1)将文件按照存储大小拆分 如下命令,将954M大小的文件httpd.log,按照500MB每个文件大小...

2019-04-27 08:40:33

阅读数 20

评论数 0

CNN在自动驾驶中的不同结构

1. 引入 真实的驾驶场景,是根据一些测量值,来预测汽车的油门、刹车、方向盘角度的过程。这些测量值可能包括:汽车速度,加速度,转向角,GPS坐标,陀螺仪角度等值,当然也少不了摄像机拍摄的车辆前方的图像。这其中CNN最擅长做的,是图像数据的处理,包括物体识别(行人,车辆,车道,交通标志),也包括回归...

2019-04-08 22:17:14

阅读数 40

评论数 0

Gartner对移动设备应用的一个预测

正文 从一篇博客[1]中,窥得一个Gartner的预测结论: Gartner predicts that 80% of worker tasks will take place on a mobile device by 2020. 这个预测是写在这篇报告中的:(Gartner, “Prepare...

2019-03-20 09:36:58

阅读数 255

评论数 0

通过源码发现nltk.Text.similar相似度衡量标准

1. 如何用nltk来找到text中相似的word 如果我们想搜索某一篇文章(text)中相似的词(word),可以使用nltk这个强大的NLP模块。下面以nltk自带的shakespeare数据集来做示例。 第一次使用nltk,需要先运行下面的代码来下载shakespeare数据集。 impor...

2019-02-10 19:37:46

阅读数 218

评论数 0

jupyter如何重新加载模块

最近几年,jupyter在全球数据科学领域,已经成为不可或缺的重要工具。 在jupyter中用python写程序,若import了自己写的外部模块,如果这个外部模块有更新,再次执行import,jupyter是不会重新导入的。一般的做法是先restart整个jupyter文档,再重新执行代码,以确...

2019-01-30 22:57:06

阅读数 693

评论数 0

YOLO-V3的一些细节

1. Abstract YOLO的基本思想是通过多层CNN预测Bounding Box的中心(x,y)坐标及其长宽,当然也少不了类别信息,参考[1]。 YOLO-V3的结构/基本原理是什么样?有哪些重要的参数/概念?YOLO-V3的优点是什么?下文着重讲解。 2. YOLO-V3 2.1 模型结构...

2019-01-13 21:26:11

阅读数 995

评论数 0

详解keras的model.summary()输出参数Param计算过程

摘要 使用keras构建深度学习模型,我们会通过model.summary()输出模型各层的参数状况,如下: ________________________________________________________________ Layer (type) ...

2018-12-22 20:32:24

阅读数 4460

评论数 3

L1正则化与L2正则化的区别

摘要 正则化的本质是在Cost Function中添加的p-范数。本文从正则化的本质p-范数入手,解释了L1正则化和L2正则化的区别。 正则化 在Cost Function上添加了正则化项,就能降低模型的过拟合程度,这就是正则化的作用。 关于正则化更细节的讲述,请参考为什么正则化能减少模型过拟合程...

2018-12-10 20:45:36

阅读数 775

评论数 0

可视化理解卷积神经网络

摘要 通过可视化分析,更能直观理解CNN各层的功能。 CNN各层能检测到的特征 第1层,学习到一些简单特征,如下图 第2层,检测到复杂的模式和形状,如下图 第3层,检测到了图像中的某一部分,或某些特定的图案(更加复杂的模式),如下图 第4层,比上一层复杂的模式,比如检测到了同一...

2018-11-22 21:58:33

阅读数 430

评论数 0

详解Siamese网络

摘要 Siamese网络用途,原理,如何训练? 背景 在人脸识别中,存在所谓的one-shot问题。举例来说,就是对公司员工进行人脸识别,每个员工只给你一张照片(训练集样本少),并且员工会离职、入职(每次变动都要重新训练模型)。有这样的问题存在,就没办法直接训练模型来解决这样的分类问题了。 为了解...

2018-11-14 19:23:11

阅读数 4571

评论数 1

CNN训练模型自动驾驶仿真

1. 摘要 本文讲解如何根据开源项目[1]和Udacity的自动驾驶仿真工具[2],训练一个CNN自动驾驶模型,并在仿真器中看到自己模型的自动驾驶效果。 2. 自动驾驶仿真原理 自动驾驶仿真的“硬件”原理图如下: 从原理图中,我们需要知道,人在开车的时候,有检测系统采集了如下参数 三个摄像机采...

2018-10-25 22:34:29

阅读数 838

评论数 0

MySQL存储引擎(Storage Engine)

1. 什么是存储引擎 MySQL的数据,是由Storage Engine来管理的。下面是MySQL的系统结构图,Storage Engine是MySQL中的一个模块,从中可以出Storage Engine在MySQL中的地位。 MySQL的Storage Engine是可插拔的,它处于SQ...

2018-10-18 22:34:46

阅读数 277

评论数 0

从one-shot问题的解法发现新的deep learning应用思路

摘要 本文讲述了什么是one-shot问题,以及one-shot问题的解决方案。并从这种解决问题的思路中得到启发,得到了一种deep learning的新的应用思路。 one-shot问题 在我们训练有监督学习模型时,为了让模型“见多识广”,我们会在构建训练集时,注重每个类别样本数的平衡。 但大家...

2018-10-08 21:49:22

阅读数 1218

评论数 1

目标检测中的Anchor Box算法

引入 无论是基于滑动窗口,还是基于网格YOLO的目标检测算法,都有可能存在同一个问题:有可能一个BOX中有多个目标,如下图所示: 这样的图中,行人和车同时存在,并且他们的中心位置都位于同一个网格中。这种情况下,传统检测方法的输出,就无法胜任了。怎么解决这个问题呢? Anchor Box算法 对于...

2018-09-26 22:41:27

阅读数 5544

评论数 1

非极大值抑制(目标检测)

问题的提出 无论是基于滑动窗口,还是基于网格YOLO的目标检测算法,都有可能存在同一个问题:对同一个对象作出多次检测,如下图所示: 怎么才能让一个车辆被检测到一次呢? 非极大值抑制 非极大值抑制(non-max suppression)的具体做法为: 首先: 找到检测概率最高的边界框标记(这里...

2018-09-17 19:51:36

阅读数 155

评论数 0

APScheduler中两种调度器的区别及使用过程中要注意的问题

摘要 本文介绍APScheduler最基本的用法“定时几秒后启动job”,解释其中两种调度器BackgroundScheduler和BlockingScheduler的区别,说明了如何做到“让job在start()后就开始运行”,详述“job执行时间大于定时调度时间”这种特殊情况的问题及解决方法...

2018-08-30 22:23:46

阅读数 3251

评论数 0

IoU(交并比)函数

摘要 如何评价你的目标检测算法效果好坏呢? 问题的提出 如果你要检测的目标的实际边界如下图中红色框所示,但你的算法给出的预测边界结果是紫色框。那么,这个结果是好还是不好呢?该怎么样来衡量目标检测算法的好坏呢? 交并比函数(IoU,intersection over union)就是用来...

2018-08-25 23:18:54

阅读数 1844

评论数 0

详解报错[zmq.error.ZMQError: Operation cannot be accomplished in current state]

1. 摘要 一个项目中,由于Python中某些module对python3和python2的支持不同,必须将一部分代码运行在python2.7环境中,另一部分代码运行在python3.5环境中 deuces:只支持python2 tensorflow:只支持python3 那这两部分代码...

2018-08-05 20:54:34

阅读数 1237

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭