python专栏
文章平均质量分 77
python开发系列,重点是numpy、pandas、sickit-learn等库的应用。
fjssharpsword
这个作者很懒,什么都没留下…
展开
-
Tensorboard安装和访问(pytorch+MobaXterm)
Ubuntu16.04操作系统,有权限用户:1、更新包库:apt-get update2、默认安装python2.7,要安装python3.5:apt-get install python33、安装 参考:https://datawookie.netlify.com/blog/2017/06/setting-up-jupyter-with-pytho...原创 2021-07-21 12:36:05 · 507 阅读 · 0 评论 -
MMDetection库部署和训练
目标检测库:https://github.com/open-mmlab/mmdetection1、部署:参照https://github.com/open-mmlab/mmdetection/blob/master/docs/get_started.md安装环境注意版本,我试验后可用的如下:conda create -n open-mmlab python=3.7 -yconda activate open-mmlabconda install pytorch==1.6.0 tor.原创 2021-03-26 08:59:11 · 1511 阅读 · 1 评论 -
Torchvision目标检测模型训练过程记录
1、环境:pytorch==1.6.0torchvision==0.7.0cudatoolkit==10.22、场景:https://pytorch.org/tutorials/intermediate/torchvision_tutorial.htmlhttps://github.com/pytorch/vision/tree/master/torchvision利用torchvision提供的maskrcnn训练自己的数据。3、数据:转换成coco格式示例代码:主原创 2021-03-25 16:52:02 · 602 阅读 · 1 评论 -
机器学习模型解释性工具SHAP
如下图,SHAP支持模型解释性,可用于抽取特征对结果的贡献。Github地址:https://github.com/slundberg/shap案例:1、数据集:# dataset:http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_diabetes.html# diabetes 是一个关于糖尿病的数据集, 该数据集包括442个病人的生理数据及一年以后的病情发展情况。 # 数据集中的特征值总.原创 2020-09-11 14:22:59 · 2995 阅读 · 0 评论 -
Linux通过kaggle api下载kaggle数据集
1.kaggle登录后下载API token下载kaggle.json2.linux本机安装kaggle apipip install kaggle然后在根目录下创建.kaggle文件夹,并把kaggle.json放入cd ~mkdir .kagglecd ~/.kaggle/3.下载相应数据集在对应数据集上找到API命令。如这个数据集的命令就是...原创 2020-04-16 17:24:34 · 4327 阅读 · 1 评论 -
Python倒排索引函数
场景:输入一个矩阵,返回倒排索引后的矩阵。矩阵值是连续的,需要分箱。def genInvertedIndex(X, bin_len=0.1): # parameter: X ,numpy array (n*m) # bin_len, float, discretize the continuous value with bins # output: X_i, nump...原创 2020-03-31 17:49:23 · 491 阅读 · 0 评论 -
Grad-CAM (CNN可视化) Python示例
论文:ICCV 2017《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》代码:https://github.com/yizt/Grad-CAM.pytorch/blob/master/main.py https://github.com/jacobgil/py...原创 2020-03-26 12:28:25 · 2207 阅读 · 7 评论 -
Class Activation Mapping (CNN可视化) Python示例
Class Activation Mapping论文:CVPR2016《Learning Deep Features for Discriminative Localization》代码:https://github.com/acheketa/pytorch-CAM/blob/master/update.py1、首先定义并训练好CNN网络,很重要的一点是网络的最后一个卷积层必须只有一个...原创 2020-03-26 09:10:17 · 1454 阅读 · 0 评论 -
t-SNE可视化示例
T分布随机近邻嵌入(T-DistributionStochasticNeighbourEmbedding)是一种用于降维的机器学习方法,它能帮我们识别相关联的模式。t-SNE主要的优势就是保持局部结构的能力。这意味着高维数据空间中距离相近的点投影到低维中仍然相近。t-SNE同样能生成漂亮的可视化。理论方面可查看Hinton在2008年发表的论文:《Visualizing Da...原创 2020-03-20 10:25:54 · 2052 阅读 · 0 评论 -
Feature Map of Pytorch示例
场景:假设已训练好model,并选了最佳模型best_net,现在想提取网络层的特征并绘出热力图。1、oriImg = cv2.imread(image_path) #读取一张图片,image_path是图片路径2、data = torch.from_numpy(oriImg).type(torch.FloatTensor).cuda() output = best_net(...原创 2020-03-18 12:36:36 · 403 阅读 · 0 评论 -
ECG-QRS检测参考代码
一个完整周期的ECG信号有 QRS P T 波组成,不同的人相应不用的波形,同一个人在不同的阶段波形也不同。所以QRS检测是心电数据处理的基础。https://github.com/c-labpl/qrs_detector参考这个代码,用来检测MIH-BIH不成功,这里代码贴出来参考(修正了代码执行错误的点)。import matplotlib.pyplot as plt%ma...原创 2020-03-04 16:27:31 · 3939 阅读 · 8 评论 -
基于pytorch开发CNN提取全连接层作为特征
场景:利用CNN网络的全连接层作为图像的特征。代码:import sysimport osimport mathimport randomimport heapq import timeimport copyimport numpy as npimport pandas as pdfrom functools import reducefrom scipy.spati...原创 2020-02-22 11:19:28 · 3926 阅读 · 7 评论 -
Bayesian Neural Network for regression (PRML)
Bayesian Neural Network : PRML 5.7章节参考代码:https://nbviewer.jupyter.org/github/ctgk/PRML/blob/master/notebooks/ch05_Neural_Networks.ipynb1.git clone:https://github.com/ctgk/PRML.git到目录 PRML/下2.代...原创 2019-12-19 16:53:16 · 390 阅读 · 0 评论 -
PRML-github code使用两个小攻略
PRML一书的源码地址:https://github.com/ctgk/PRMLgit clone后如何使用?假设放到本地目录 PRML/1.头部引入:import sysif "PRML/" not in sys.path: sys.path.append("PRML/")from prml import nn2.遇到:如下引用错误。from scipy.m...原创 2019-12-18 18:17:40 · 398 阅读 · 0 评论 -
Opencv-Python部署SIFT函数问题的处理
1、背景:pip installopencv_contrib_pythonpip install opencv-python安装的是最新版本4.1.2.30,最新的也是到3.4.2.17。2、问题:3、处理:1)发现只有3.4.2.16版本以下才可以使用sift函数,可以使用如下部署。pip install opencv-python==3.4.2....原创 2019-12-02 12:29:33 · 372 阅读 · 0 评论 -
Ubuntu下安装Python开发的Facebook Faiss相似性搜索工具
Facebook 的相似性搜索工具 Faiss支持GPU下矢量表示检索,有较强的检索性能,可用于有效的相似性搜索(similarity search)和稠密矢量聚类(clustering of dense vectors)。Faiss 是围绕存储一个向量集的索引类型(index type)构建的,并且索引类型提供了一个利用 L2 和/或点积向量比较的函数,以使该函数能够在向量集中进行搜索。下面说明...原创 2019-11-29 14:59:04 · 534 阅读 · 1 评论 -
图像语义分割模型DeepLab训练Cityscapes数据集过程记录
参考:https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/cityscapes.mdhttps://github.com/tensorflow/models/blob/master/research/deeplab/local_test.sh1、下载数据cd models/research/d...原创 2019-10-24 10:54:34 · 3633 阅读 · 11 评论 -
PostgreSQL数据库数组相似度计算
场景:数据库中有一个字段是数组,要计算数组的相似度。建表语句如下:create table cataract_wt (name text NOT NULL, content float8[] NOT NULL, label float NOT NULL);其中字段content 就是一个float类型的数组,可以赋予一维或二维。1.Cube组件参考:https://zejn....原创 2019-10-21 18:43:57 · 1395 阅读 · 0 评论 -
PostgreSQL数据库图像搜索插件imgsmlr部署
https://github.com/postgrespro/imgsmlr1、deploy apt-get install postgresql-server-dev-all apt-get install postgresql-common apt-get install libgd2-noxpm-dev2、compile $ git clone h...原创 2019-10-14 17:54:14 · 965 阅读 · 0 评论 -
基于python和postgreSQL存储图片
安装postgresql数据库python开发包:apt install libpq-dev python3-devpip install psycopg2具体代码如下:from PIL import Imageimport psycopg2 as psconn = ps.connect(host="127.0.0.1", user="postgres", password...原创 2019-10-14 17:07:50 · 1518 阅读 · 1 评论 -
Linux下载交通图片数据集CityScapes Dataset
https://www.cityscapes-dataset.com/先注册一个账号。City Scapes dataset is a very popular dataset that consists of labeled street images (from video sequence). There are 5000 high-quality labeled frames and...原创 2019-10-13 11:46:06 · 2151 阅读 · 0 评论 -
Image Semantic Segmentation之DeepLab两个坑
1、实验平台:ubuntu 16.04 + TensorFlow 1.12.0 + cuda 9.0 + python 3.6 第一个坑:tensorflow和cuda版本要对应。2、下载:git clonehttps://github.com/tensorflow/models.git, 切换到models/research/下。3、测试:选择PASCAL VOC 201...原创 2019-10-13 10:24:54 · 303 阅读 · 0 评论 -
【Python-ML】SKlearn库性能指标ROC-AUC
# -*- coding: utf-8 -*-'''Created on 2018年1月19日@author: Jason.F@summary: ROC(receiver operator characteristic,基于模型真正率和假正率等性能指标评估分类模型'''import pandas as pdfrom sklearn.preprocessing import Label原创 2018-01-19 11:28:26 · 2861 阅读 · 0 评论 -
【Python-ML】集成多数投票分类器-训练评估调优
# -*- coding: utf-8 -*-'''Created on 2018年1月19日@author: Jason.F@summary: 集成学习,多数投票分类器'''from sklearn.base import BaseEstimatorfrom sklearn.base import ClassifierMixinfrom sklearn.preprocessin原创 2018-01-20 11:59:04 · 2584 阅读 · 0 评论 -
【Python-ML】SKlearn库集成学习器Bagging
# -*- coding: utf-8 -*-'''Created on 2018年1月19日@author: Jason.F@summary: Bagging,通过bootstrap样本构建集成分类器,样本有放回抽样。降低模型方差,防止过拟合。'''import pandas as pdimport numpy as npfrom sklearn.preprocessing i原创 2018-01-20 12:24:18 · 1455 阅读 · 0 评论 -
【Python-ML】SKlearn库集成学习器Boosting
# -*- coding: utf-8 -*-'''Created on 2018年1月19日@author: Jason.F@summary: Boosting,无放回抽样,串行训练基学习器,用整个训练集来训练弱学习机,训练样本在每次迭代中都会重新赋予一个权重,在上一弱学习机错误的基础上进行学习进而构建一个更强大的分类器。'''import pandas as pdimport原创 2018-01-20 12:34:11 · 1550 阅读 · 0 评论 -
【Python-ML】电影评论数据集文本挖掘
# -*- coding: utf-8 -*-'''Created on 2018年1月22日@author: Jason.F@summary: 文本挖掘,对电影评论进行内容抽取、特征向量化并训练模型预测电影评论数据:http://ai.stanford.edu/~amaas/data/sentiment/'''import pyprindimport pandas as pdi原创 2018-01-22 16:22:39 · 2485 阅读 · 1 评论 -
【Python-ML】电影评论数据集文本挖掘 -在线学习
# -*- coding: utf-8 -*-'''Created on 2018年1月22日@author: Jason.F@summary: 文本挖掘,对电影评论进行内容抽取、特征向量化并训练模型预测,在线学习并持久化模型电影评论数据:http://ai.stanford.edu/~amaas/data/sentiment/'''import pyprindimport pan原创 2018-01-22 16:23:39 · 2350 阅读 · 0 评论 -
【Python-ML】探索式数据分析EDA(Exploratory Data Analysis)
# -*- coding: utf-8 -*-'''Created on 2018年1月24日@author: Jason.F@summary: 有监督回归学习-探索式数据分析(EDA,Exploratory Data Analysis),发现数据的异常和分布情况以及特征间的相互关系'''import pandas as pdimport matplotlib.pyplot as p原创 2018-01-24 16:00:13 · 5938 阅读 · 0 评论 -
【Python-ML】SKlearn库线性回归器LinearRegression
# -*- coding: utf-8 -*-'''Created on 2018年1月24日@author: Jason.F@summary: 有监督回归学习-基于最小二乘法构建线性回归模型最小二乘法(Ordinary Least Square,LOS),估计回归曲线的参数,使得回归曲线到样本点垂直距离(残差或误差)的平方和最小'''import pandas as pdimpo原创 2018-01-24 16:50:02 · 1523 阅读 · 0 评论 -
【Python-ML】SKlearn库RANSAC拟合高鲁棒性回归模型
# -*- coding: utf-8 -*-'''Created on 2018年1月24日@author: Jason.F@summary: 有监督回归学习-RANSAC拟合高鲁棒性回归模型高鲁棒性线性回归器是一种清楚异常值的学习模型,采用随机抽样一致性(RANdom SAmple Consensus,RANSAC),使用数据的内点(inlier,数据集的子集)进行回归模型的拟合算原创 2018-01-24 20:10:40 · 4269 阅读 · 4 评论 -
【Python-ML】SKlearn库多元线性回归性能评估
# -*- coding: utf-8 -*-'''Created on 2018年1月24日@author: Jason.F@summary: 有监督回归学习-多元线性回归的性能评估'''import pandas as pdimport numpy as npimport timeimport matplotlib.pyplot as pltfrom sklearn.lin原创 2018-01-25 10:25:49 · 2006 阅读 · 0 评论 -
【Python-ML】SKlearn库多项式回归
# -*- coding: utf-8 -*-'''Created on 2018年1月24日@author: Jason.F@summary: 有监督回归学习-多项式回归,通过多项式特征拟合非线性关系'''import pandas as pdimport numpy as npimport timeimport matplotlib.pyplot as pltfrom sk原创 2018-01-25 12:07:52 · 1519 阅读 · 0 评论 -
【Python-ML】SKlearn库非线性决策树回归
# -*- coding: utf-8 -*-'''Created on 2018年1月24日@author: Jason.F@summary: 有监督回归学习-决策树回归模型,无需对数据进行特征转换,就能处理非线性关系的数据'''import pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimpo原创 2018-01-25 12:56:44 · 2163 阅读 · 0 评论 -
【Python-ML】SKlearn库原型聚类KMeans
# -*- coding: utf-8 -*-'''Created on 2018年1月25日@author: Jason.F@summary: 无监督聚类学习-KMeans算法'''import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import ma原创 2018-01-25 14:35:03 · 788 阅读 · 0 评论 -
【Python-ML】SKlearn库层次聚类凝聚AgglomerativeClustering模型
# -*- coding: utf-8 -*-'''Created on 2018年1月25日@author: Jason.F@summary: 无监督聚类学习-层次聚类(hierarchical clustering),自下向上的凝聚和自顶向下的分裂两种方法。'''import pandas as pdimport numpy as npimport matplotlib.pyp原创 2018-01-25 15:09:17 · 17097 阅读 · 1 评论 -
【Python-ML】SKlearn库密度聚类DBSCAN模型
# -*- coding: utf-8 -*-'''Created on 2018年1月25日@author: Jason.F@summary: 无监督聚类学习-基于密度 空间的聚类算法(Density-based Spatial Clustering of Application with Noise,DBSCAN)密度:半径范围内样本点的数量核心点:如果在一个点周边的指定半径内,其原创 2018-01-25 16:00:22 · 1485 阅读 · 1 评论 -
【Python-ML】神经网络-多层感知器
# -*- coding: utf-8 -*-'''Created on 2018年1月26日@author: Jason.F@summary: 多层感知器实现训练集:http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte: training set imagestrain-labels-idx1-ubyte: trainin原创 2018-01-26 16:11:10 · 811 阅读 · 0 评论 -
【Python-ML】神经网络-多层感知器增加梯度检验
# -*- coding: utf-8 -*-'''Created on 2018年1月26日@author: Jason.F@summary: 多层感知器实现,加梯度检验训练集:http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte: training set imagestrain-labels-idx1-ubyte: t原创 2018-01-26 16:39:34 · 583 阅读 · 0 评论 -
【Python-ML】神经网络-Theano张量库(GPU版的Numpy)
# -*- coding: utf-8 -*-'''Created on 2018年1月26日@author: Jason.F@summary: pip install Theano,Theano,对于张量能够高效地实现、编译和评估数学表达式,支持在GPU上运行,利用GPU中巨大内存带宽及浮点数运算能力实现一个基于最小二乘法的线性回归'''import theanofrom th原创 2018-01-26 17:06:10 · 478 阅读 · 0 评论