自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Linux下安装和使用Latexdiff

投稿必然要改稿,痛苦,还要给出改稿清单,latexdiff是个好工具。 https://www.ctan.org/pkg/latexdiff https://github.com/ftilmann/latexdiff 1、linux下安装: apt-get install latexdi...

2020-04-26 18:28:51 54 0

原创 Linux通过kaggle api下载kaggle数据集

1.kaggle登录后下载API token 下载kaggle.json 2.linux本机安装kaggle api pip install kaggle 然后在根目录下创建.kaggle文件夹,并把kaggle.json放入 cd ~ mkdir .kaggle cd ~/...

2020-04-16 17:24:34 81 0

原创 Python倒排索引函数

场景:输入一个矩阵,返回倒排索引后的矩阵。矩阵值是连续的,需要分箱。 def genInvertedIndex(X, bin_len=0.1): # parameter: X ,numpy array (n*m) # bin_len, float, discretize the...

2020-03-31 17:49:23 73 0

原创 Grad-CAM (CNN可视化) Python示例

论文:ICCV 2017《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》 代码:https://github.com/yizt/Grad-CAM.pytorch/blob/maste...

2020-03-26 12:28:25 154 0

原创 Class Activation Mapping (CNN可视化) Python示例

Class Activation Mapping 论文:CVPR2016《Learning Deep Features for Discriminative Localization》 代码:https://github.com/acheketa/pytorch-CAM/blob/master...

2020-03-26 09:10:17 181 0

原创 t-SNE可视化示例

T分布随机近邻嵌入(T-DistributionStochasticNeighbourEmbedding)是一种用于降维的机器学习方法,它能帮我们识别相关联的模式。t-SNE主要的优势就是保持局部结构的能力。这意味着高维数据空间中距离相近的点投影到低维中仍然相近。t-SNE同样能生成漂亮的可视化。...

2020-03-20 10:25:54 65 0

原创 Feature Map of Pytorch示例

场景:假设已训练好model,并选了最佳模型best_net,现在想提取网络层的特征并绘出热力图。 1、oriImg = cv2.imread(image_path) #读取一张图片,image_path是图片路径 2、data = torch.from_numpy(oriImg).type(...

2020-03-18 12:36:36 52 0

原创 ECG-QRS检测参考代码

一个完整周期的ECG信号有 QRS P T 波组成,不同的人相应不用的波形,同一个人在不同的阶段波形也不同。所以QRS检测是心电数据处理的基础。 https://github.com/c-labpl/qrs_detector 参考这个代码,用来检测MIH-BIH不成功,这里代码贴出来参考(修正...

2020-03-04 16:27:31 322 4

原创 基于pytorch开发CNN提取全连接层作为特征

场景:利用CNN网络的全连接层作为图像的特征。 代码: import sys import os import math import random import heapq import time import copy import numpy as np import pandas ...

2020-02-22 11:19:28 327 0

原创 贝叶斯神经网络的辩论

贝叶斯概率体系的研究有一段时间了,目前在推进贝叶斯神经网络,看到这篇文章的辩论,这里保存下。 https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247500837&idx=1&sn=df0915b394369cf...

2020-01-20 09:09:26 154 0

原创 模型可解释性-贝叶斯方法

在医学领域,模型的可解释性尤为重要,需要有明确的结论证据支持,然后牵涉到神经网络模型,绕不开的就是黑盒观点。 业界做了很多尝试,发现一片不错的模型可解释介绍。这里依旧做要点记录,以免原链接失效。 原链接:https://www.jiqizhixin.com/articles/2019-10-3...

2019-12-26 08:28:27 239 0

原创 NeurIPS 2019最热趋势-贝叶斯深度学习

贝叶斯原理,总感觉憋着,不透。关注到一篇文章介绍NIPS2019最新趋势中有关于贝叶斯深度学习的,还是担心链接失效,博客这里mark关键信息。 链接:https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652060603&...

2019-12-23 09:59:18 128 0

原创 IT技术能治病救人-数据是21世纪最伟大的药物

mark下这篇文章,担心链接失效,摘要些关键信息出来。 链接:https://mp.weixin.qq.com/s?__biz=MzA3NTIyODUzNA==&mid=2649579790&idx=3&sn=68df8eebda098819788edf561296d34...

2019-12-22 09:39:07 71 0

原创 Bayesian Neural Network for regression (PRML)

Bayesian Neural Network : PRML 5.7章节 参考代码:https://nbviewer.jupyter.org/github/ctgk/PRML/blob/master/notebooks/ch05_Neural_Networks.ipynb 1.git clon...

2019-12-19 16:53:16 85 0

原创 PRML-github code使用两个小攻略

PRML一书的源码地址:https://github.com/ctgk/PRML git clone后如何使用?假设放到本地目录 PRML/ 1.头部引入: import sys if "PRML/" not in sys.path: sys.path.appe...

2019-12-18 18:17:40 90 0

原创 Opencv-Python部署SIFT函数问题的处理

1、背景: pip installopencv_contrib_python pip install opencv-python 安装的是最新版本4.1.2.30,最新的也是到3.4.2.17。 2、问题: 3、处理: 1)发现只有3.4.2.16版本以下才可以使用sift函数...

2019-12-02 12:29:33 115 0

原创 Ubuntu下安装Python开发的Facebook Faiss相似性搜索工具

Facebook 的相似性搜索工具 Faiss支持GPU下矢量表示检索,有较强的检索性能,可用于有效的相似性搜索(similarity search)和稠密矢量聚类(clustering of dense vectors)。Faiss 是围绕存储一个向量集的索引类型(index type)构建的,...

2019-11-29 14:59:04 85 1

原创 图像语义分割模型DeepLab训练Cityscapes数据集过程记录

参考:https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/cityscapes.md https://github.com/tensorflow/models/blob/master/research/d...

2019-10-24 10:54:34 902 10

原创 PostgreSQL数据库数组相似度计算

场景:数据库中有一个字段是数组,要计算数组的相似度。 建表语句如下: create table cataract_wt (name text NOT NULL, content float8[] NOT NULL, label float NOT NULL); 其中字段content 就是...

2019-10-21 18:43:57 129 0

原创 PostgreSQL数据库图像搜索插件imgsmlr部署

https://github.com/postgrespro/imgsmlr 1、deploy apt-get install postgresql-server-dev-all apt-get install postgresql-common apt-get install li...

2019-10-14 17:54:14 103 0

原创 基于python和postgreSQL存储图片

安装postgresql数据库python开发包: apt install libpq-dev python3-dev pip install psycopg2 具体代码如下: from PIL import Image import psycopg2 as ps conn = ps....

2019-10-14 17:07:50 358 1

原创 ubuntu部署postgreSQL数据库

选择最简单方式,用root身份。 apt-get update apt-get install postgresql postgresql-client 默认创建一个数据库超级用户 postgres,密码为空。 su postgres 进入该用户下,开启数据库服务: /etc/in...

2019-10-14 15:21:32 62 0

原创 Linux下载交通图片数据集CityScapes Dataset

https://www.cityscapes-dataset.com/先注册一个账号。 City Scapes dataset is a very popular dataset that consists of labeled street images (from video sequenc...

2019-10-13 11:46:06 329 0

原创 Image Semantic Segmentation之DeepLab两个坑

1、实验平台:ubuntu 16.04 + TensorFlow 1.12.0 + cuda 9.0 + python 3.6 第一个坑:tensorflow和cuda版本要对应。 2、下载:git clonehttps://github.com/tensorflow/models.gi...

2019-10-13 10:24:54 96 0

原创 推荐经典算法实现之BPMF(python+MovieLen)

因前一篇https://blog.csdn.net/fjssharpsword/article/details/97000479采样问题未解决,发现如下github上有BPMF代码,采用wishart先验,性能和pymc3一致。 参考:https://github.com/LoryPack/BP...

2019-08-01 16:22:59 318 1

原创 概率编程库Edward安装

概率编程库主流有:Stan、Pymc、Edward,先前选择pymc,结果发现遇到大规模数据基本跑不动,无奈转Edward。 Edward:A library for probabilistic modeling, inference, and criticism. 网址:http://edw...

2019-07-27 10:11:12 274 0

原创 推荐算法实现之BMF(pymc3+MovieLen)

BMF是笔者根据PMF(http://papers.nips.cc/paper/3208-probabilistic-matrix-factorization.pdf)和BPMF(https://www.cs.toronto.edu/~rsalakhu/papers/bpmf.pdf)论文思路,自...

2019-07-23 16:05:46 224 3

原创 推荐经典算法实现之BPMF(pymc3+MovieLen)

BPMF是用贝叶斯推断方法求解MF的概率模型,参考:https://gist.github.com/macks22/00a17b1d374dfc267a9a 1、利用其本身数据集的代码如下: # -*- Encoding:UTF-8 -*- ''' @autho...

2019-07-23 15:45:28 236 0

原创 推荐经典算法实现之PMF(python+MovieLen)

# -*- Encoding:UTF-8 -*- ''' @author: Jason.F @data: 2019.07.18 @function: Implementing PMF Dataset: Movielen Dataset(ml-1m...

2019-07-22 08:03:36 465 0

原创 推荐经典算法实现之DMF(tensorflow+MovieLen)

# -*- Encoding:UTF-8 -*- ''' @author: Jason.F @data: 2019.07.17 @function: Implementing DMF with Tensorflow Dataset: Movi...

2019-07-18 15:35:07 328 0

原创 Tensorflow矩阵过大问题的解决

问题:推荐系统中,用户和物品矩阵进行embedding,但矩阵过大时,超过2G时,会有如下提示 ValueError: Cannot create a tensor proto whose content is larger than 2GB. 出现问题的代码语句是: self.user_i...

2019-07-18 15:23:25 331 0

原创 推荐经典算法实现之NCF(pytorch+MovieLen)

# coding:utf-8 ''' @author: Jason.F @data: 2019.07.11 @function: Implementing NCF with Torch Dataset: Movielen Dataset(...

2019-07-12 08:08:25 990 13

原创 推荐经典算法实现之SVDBias(python+MovieLen)

# coding:utf-8 ''' @author: Jason.F @data: 2019.07.15 @function: Implementation: SVDBias Datatset: Movielen-1m ...

2019-07-11 16:10:34 618 2

原创 python绘制正态分布曲线

场景:已知mean和variance,绘制正态分布曲线。 import numpy as np import matplotlib.pyplot as plt import pandas as pd import math #正态分布的概率密度函数。可以理解成 x 是 mu(均值)和 sig...

2019-06-21 08:24:27 5214 0

原创 python下处理win和linux分行符

场景:linux只用\n换行,win下用\r\n表示换行。linux正常的一行在win下分多行,linux下在字符串中替换\r\n,在win中正常。 #linux只用\n换行,win下用\r\n表示换行。linux正常的一行在win下分多行,在字符串中替换\r import pandas as...

2019-05-24 10:24:42 209 0

原创 python字符串截取及Html解析

场景:一串字符串,包括html代码,包括特定符号,目标是提取特定符号中间的子字符串,并且解析html代码提取相关属性的值。 安装:pip installBeautifulSoup4 代码参考: import re from bs4 import BeautifulSoup from os....

2019-05-17 12:59:01 972 0

原创 概率编程库Pymc3案例之神经网络(批量训练)

Pymc3提供minibatch训练,参考: https://twiecki.io/blog/2016/06/01/bayesian-deep-learning/ 但在ppc上却遇到测试集batch问题。 https://github.com/pymc-devs/pymc3/issues/2...

2019-05-10 16:17:49 257 1

原创 linux下配置Docker的jupyter notebook环境

jupyter notebook环境配置备忘: 1、安装:pip install jupyter 2、配置: 1)生成配置文件:jupyter notebook --generate-config 2)打开配置文件编辑:vim /root/.jupyter/jupyter_notebook...

2019-05-09 17:56:27 493 1

原创 pandas分批读取csv文件

csv文件数据过大,超过内存负荷,这种情况下,pandas对csv提供一个批量读取的参数。 https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html 代码如下: 对于非分布式环境下的...

2019-05-07 09:32:22 1171 0

原创 python下selenium模拟浏览器常见操作

本文主要记录下selenium的常见操作,如定位具体元素的不同方法、在具体元素内循环、提取文本等。具体代码如下: # -*- coding: utf-8 -*- ''' Created on 2019年4月30日 @author: cvter '�...

2019-05-05 11:39:51 94 0

提示
确定要删除当前文章?
取消 删除