自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(65)
  • 收藏
  • 关注

原创 获取当前文件夹的父目录、当前文件夹下所有文件名、所有内部文件

学习记录:data_dir='data'data_info = list() # 最终包含所有图片、标签(每一行)for root, dirs, files in os.walk(data_dir): # 获取当前文件夹的父目录、当前文件夹下所有文件名、所有内部文件 print(' each_cate1', root) print(' each_cate2', dirs) print(' each_cate3', files)输出的部分结果:each_cate

2020-09-22 21:53:16 47

原创 lr_scheduler.StepLR调整学习率机制

pytorch中调整学习率的lr_scheduler机制有的时候需要我们通过一定机制来调整学习率,这个时候可以借助于torch.optim.lr_scheduler类来进行调整;torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率(learning rate)的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。下面介绍了一种调整策略机制:StepLR机制;1、torch.optim.lr_scheduler.Step

2020-09-22 21:02:45 532

原创 如何不卸载升级python版本

在Anaconda Promot中,输入: conda update conda conda update anaconda conda update python还需要输入activate激活下完成之后,pycharm->File->Setting找到对应的anaconda下的python.exe添加为新的解释器,此时该新添加的解释器就显示为python3.6版本了。...

2020-09-21 21:51:58 19 1

原创 三个例子教你如何利用Keras搭建深度网络进行搭建 训练模型

第一个例子:回归模型首先我们在Keras中定义一个单层全连接网络,进行线性回归模型的训练# Regressor exampleimport numpy as npnp.random.seed(1337) from keras.models import Sequential from keras.layers import Denseimport matplotlib.pyplot as plt# 创建数据集X = np.linspace(-1, 1, 200)np.r...

2020-09-20 21:53:06 34

原创 Keras和TensorFlow间的亲子关系

Keras是基于TensorFlow和Theano(由加拿大蒙特利尔大学开发的机器学习框架)的深度学习库,keras是基于tensorflow的高级API,通常直接调用一些封装好的函数就可以实现某些功能,而tensorflow虽然比较底层,但是可以比较灵活的定义模型结构目前Keras已经被TensorFlow收录,添加到TensorFlow 中,成为其默认的框架,成为TensorFlow官方的高级API...

2020-09-20 21:34:22 18

原创 pycharm中通过 Mark Directory As里的Sources Root解决调用文件报红问题

Sources Root:告诉idea这个文件夹及其子文件夹中包含源代码,是需要编译构建的一部分同一个项目里,import会报红:解决方法:代码就不报红了。

2020-09-20 20:13:27 62

原创 解决You are using pip version 9.0.1, however version 20.2.3 is available【亲测有效】

因为tensorflow是安装在anaconda里的,在进行装三方包的时候出现了pip需要升级的通知;如装keras:问题:解决方法python -m pip install -U pip

2020-09-20 16:52:06 13

原创 anaconda下安装tensorflow过程

因为电脑上已经安装了pytoch,为了安全好管理,需要在anaconda的Prompt装了一个虚拟环境,安装tensorflow,并进入这个虚拟环境:conda create -n tensorflow python=3.5conda activate tensorflow安装tensorflow:pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple/下面检测下是否安装成功;我们需要先进入tensor.

2020-09-20 11:50:36 28

原创 生成对抗网络 GAN

生成对抗网络(GAN, Generative Adversarial Networks)是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:生成网络G和判别网络D,通过这二个互相博弈学习产生相当好的输出,进而使G学到数据分布,使D能够辨别出真实数据。在训练过程中,生成网络G通过接受一个随机的噪声来尽量模仿、学习训练集中的真实数据去“欺骗”D,而D则尽可能的分辨自己所得到的一个输入数据,究竟是来自于真实的数据分布还是来自于一个生成模型,从而形成两个网络的博弈过程。理想的情况下,博

2020-09-18 20:07:06 10

原创 labelme的安装小过程

安装 labelme前提是已经安装好了anaconda(1)第一步,打开Anaconda Prompt ,然后使用conda创建一个虚拟环境,并命名为labelme。conda create -n labelme python=3.7(2)进入创建好的虚拟环境conda activate labelme(3)下载安装labelmepip install labelme如果速度太慢的话,可改用清华镜像源下载(推荐),方法如下:pip install -i htt

2020-09-17 16:01:13 21

原创 MongoDB ——删除数据库的相关操作

首先,查看所有数据库:show dbs切换到数据库 runoob: use runoob执行删除命令:db.dropDatabase()

2020-09-15 19:41:48 8

原创 安装pyahocorasick出现的问题

安装pyahocorasick时出现的问题!在一台电脑上安装成功了,结果在自己电脑上装总是报错,真是见鬼了:后来又重新下载安装Microsoft visual c++ 14.0 ,链接如下:链接:https://pan.baidu.com/s/1Jm4Kk2TtOXbaHcJdYU-xtw提取码:9l00终于装好了!...

2020-09-14 15:44:05 18

原创 Linux下安装pytorch步骤

创建虚拟环境为pytorch创建一个虚拟环境,这是推荐的做法,这样在创建其他环境如tensorflow时,就不会互相冲突。在终端输入:conda create -n pytorch python=3.6这就创建了一个名为pytorch,python版本为3.7的虚拟环境。于是我们可以把Pytorch安装在这个环境下面。首先我们激活这个环境:source activate pytorchsource activate pytorch激活后,会看到前面会显示(pytorch):.

2020-09-12 15:45:22 153

原创 Cognitive Graph for Multi-Hop Reading Comprehension at Scale解说

我们提出了一个新的CogQA框架,用于网络规模的多跳问题回答文件。该框架以认知科学中的双过程理论为基础,通过协调隐式提取模块(系统1)和显式推理模块(系统2),在迭代过程中逐步构建认知图。在给出准确答案的同时,我们的框架还提供了可解释的推理路径。具体地说,我们的1基于BERT和图形神经网络(GNN)的实现可以有效地处理HotpotQA-fullwiki数据集中的数百万个多跳推理问题文档,在排行榜上取得了34.9的联合分数,而在最佳竞争对手中只有23.6分1 Introduction深度学习模式在机器

2020-07-25 23:24:40 81

原创 Semi-supervised Learning on Graphs with Generative Adversarial Nets

ABSTRACT我们研究了生成对抗网(GANs)如何帮助图的半监督学习。我们首先介绍了图的对抗学习的工作原理,然后提出了图的半监督学习的一种新方法GraphSGAN。在GraphSGAN中,生成器和分类器网络进行了一种新颖的竞争博弈。在平衡状态下,生成器在子图之间的低密度区域生成假样本。为了区分真假样本,分类器隐式地考虑了子图的密度特性。提出了一种有效的对抗学习算法,通过理论改进传统的标准化图拉普拉斯正则化保证。在几种不同类型的数据集上的实验结果表明,所提出的GraphSGAN明显优于几种最新的方法

2020-07-25 17:52:13 88

原创 使用opencv连续保存多张图片到指定文件夹

使用opencv保存多张图片存,命名以数字递增,例如1.jpg 、2.jpg .......Img_Name = "./eds/copyimages/" + str(i)+ ".jpg"前面一部分是要存的图片路径,根据自己需要改,str(i) 是把数字转成字符串 ,i 写一幅图像变得i++上面这句就把图像的存储路径和命名给成字符串了然后写下面这句就行可以保存到指定位置了cv2.imwrite(Img_Name , img) img是图像,Img_Name 是保存的路径与图像名.

2020-07-21 17:17:59 205

原创 安装opencv-python时出现 ERROR: Exception问题【亲测可用】

网上说采用pip install 可以安装,没想到出现如下错误pip install opencv-python错误如下:解决方案是换用国内镜像清华源:pip install https://pypi.tuna.tsinghua.edu.cn/simple不出意外则会提示安装成功 ,但我还是报错了如果出现上述之类的错误,则再次键入:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted.

2020-07-21 15:17:19 165

原创 如何将文件夹中读取到的图片保存到另一个文件夹

可以先新建一个目标文件夹 ,然后使用下面的代码就可以读取多个子文件下的图像并将其另存为我们的目标文件处。#!/usr/bin/python# -*- coding: UTF-8 -*-import osimport imageiofrom scipy import misc# 打开文件path = "./eds/images"newFilePath="./eds/copyimages"dirs = os.listdir( path )print(dirs) # 输出所有子文件和文.

2020-07-20 17:54:42 271 3

原创 英文会议参考文献的出版地 and 英文参考文献的查找

书写格式:Globalandlocalmultidisciplinarydesignoptimizationofexpendablelaunchvehicles[C]//ProceedingsofIEEEonVehicles.NY:AIAA,2011:785-793.(国际会议论文集:析出文献主要责任者.文献题名[C]//国际会议名称.出版地:出版者,出版年:起止页码)出版地:出版者:Rosten, VA, USA:Internet SocietyB...

2020-07-02 10:57:20 168

原创 无法安装64位office,因为已有32位版本的程序【亲测可用】

在已有64为office的情况下,安装32位的Visio会报错:具体解决方案如下:1. 在系统中,调出regedit运行命令。2.打开注册表,依次定位到 HKEY_CLASSES_ROOT\Installer\Products,展开Products后,在前几个文件夹中,找到如下图所示的文件,将整个文件夹删除即可。3.为了以防万一可以先把注册表备份一下4. 然后把所有相关的内容都删了,我是删除下面的这些。然后就可以成功安装我们下载的visio2019了...

2020-06-30 16:38:59 601 1

原创 PIL获取图像尺寸size 以及与 numpy中size()函数的区别

直接上代码,会更加容易理解点:from PIL import Image import numpy as npimg = Image.open("./img/qianqian.jpg") print(type(img)) #显示类型print(img.size)print(img.size[0]) #图片的宽度print(img.size[1]) #图片的高度print('========================.arry_img=np.asarray(img)print(type

2020-06-24 15:21:15 426

原创 读取/显示/灰度化/保存图像

下面为读取图像,显示图像,灰度化图像,保存图像代码。from PIL import Imageimport numpy as np# 显示图片img = Image.open("./img/tt.jpg")img.show()#上面显示图像方式是调用操作系统自带的图片浏览器来打开图片,有些时候这种方式不太方便,#因此我们也可以使用另上一种方式,让程序来绘制图片。from PIL import Imageimport matplotlib.pyplot as pltimg=Imag

2020-06-22 23:21:39 149

原创 matplotlib中的plt.subplot()使用介绍

plt.subplot(2,3,1)也可以简写plt.subplot(231)表示把显示界面分割成2*3的网格。其中,第一个参数是行数,第二个参数是列数,第三个参数表示图形的标号。import numpy as npimport matplotlib.pyplot as pltt=np.arange(0.0,2.0,0.1)s=np.sin(t*np.pi)#2×np.pi就相当于2π# 解决中文显示问题plt.rcParams['font.sans-serif'] = ['SimHei'.

2020-06-22 22:09:52 424

原创 Matplotlib中文显示

Matplotlib不能正常显示中文标签:只需加入下面二行即可:import matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号...

2020-06-22 20:45:32 50

原创 VC维+西瓜书讲解

现实学习任务所面临的通常是无限假设空间,例如实数域中的所有区间、R^{d}空间中的所有线性超平面,欲对此种情形的可学习性进行研究,需度量假设空间的复杂度,最常见的办法是考虑假设空间的"VC维”。给定训练样本集合x_{0},x_{1}\cdots ,x_{n-1},其中每个样本有两个可选的label(+1, -1)。因此总共有2^{n}种不同的label组合。如果对于其中每一种组合,分类模型 f 都能够对其进行正确的划分,那么我们称 f 能够将训练样本集合x_{0},x_{1}\cdots ,x_{n-1}

2020-06-17 23:18:55 70

原创 查看jupty notebook默认的保存路径 以及修改路径

1、如何看文件默认存储路径在jupty notebook中输入下面的代码就能看见保存的路径:import osprint(os.path.abspath('.'))2、 修改文件默认存储路径第一步:找到配置文件在开始菜单里找到并打开Anaconda Prompt,输入如下:jupyter notebook --generate-config根据上面运行处的路径打开C:\Users\HS\.jupyter\jupyter_notebook_config.py文件第二步:

2020-06-17 21:52:44 433

原创 工作集—The Working Set Model for Program Behavior笔记

计算机系统缺乏对资源分配的一般处理的最基本原因是缺乏一个适当的程序行为模型,所以该文提出了一种新的模型——“工作集模型”。用一种开发统一的方法对进程和内存管理进行建模,模拟通用计算机系统或计算机实用程序中程序的行为。它体现了在多道程序环境下行为特性,使我们能够确定哪些信息正在被正在运行的程序使用,哪些没有被使用。内存管理的主要问题不是决定要加载哪些页面,而是决定要删除哪些页面,我们之前了解的分页策略,如:随机,FIFO,LRU,ATLAS循环检测,在一定程度上都起到了很好的作用,但都存在着相应的问题。然后

2020-06-16 00:21:05 57

原创 sklearn实现决策树对乳腺癌的分类诊断(下)

决策树:https://blog.csdn.net/bjjoy2009/article/details/80841657https://blog.csdn.net/gulie8/article/details/101301518

2020-06-13 22:05:26 367

原创 sklearn实现决策树对乳腺癌数据集的分类并使用五折交叉验证(上)

关于Breast Cancer Wisconsin (Diagnostic) Data Set 乳腺癌数据集的基本情况可以看我之前发的博客:https://blog.csdn.net/weixin_42305378/article/details/106058697这边主要是使用sklearn的决策树算法对乳腺癌数据集进行分类,并用五折交叉验证评估以前我们是直接将数据分割成70%的训练数据和测试数据,现在我们利用5折交叉验证分割数据,首先将数据分为5组,然后再从5组数据之中选择不同数据进行训练。

2020-06-13 22:04:03 542

原创 小白带你入门——sklearn实现决策树分类的步骤

这篇主要简单的介绍 sklearn中实现决策树要用到的一些参数知识,以及操作的大概框架,方便后面使用sklearn实现决策树分类。有需要的还可以看下我的这篇博客https://blog.csdn.net/weixin_42305378/article/details/106118209,里面是不使用sklearn构造决策树的代码 以及 有关于信息熵等的知识。sklearn的基本建模流程: 1. 导入需要的算法库和模块,以sklearn中的红酒数据集为例 2.加载数据集

2020-06-13 22:00:25 238

原创 进来了解下sklearn吧

Scikit-learn简称为sklearn,是机器学习中常用的第三方模块,对常用的机器学习方法进行了封装,调用起来十分方便,极大的节省我们编写代码的时间以及减少我们的代码量。1.sklearn库的结构sklearn结构图sklearn库的算法主要有四类:分类,回归,聚类,降维。其中:常用的回归:线性、决策树、SVM、KNN ;集成回归:随机森林、Adaboost、GradientBoosting、Bagging、ExtraTrees 常用的分类:线性、决策树、SVM、KNN,朴.

2020-06-13 21:52:59 78

原创 对一维二维三维数组的分析 及其 np.shape 的输出

[1,2]的shape值(2,),意思是一维数组,数组中有2个元素。[[1],[2]]的shape值是(2,1),意思是一个二维数组,2行1列,每行有1个元素。[[1,2]]的shape值是(1,2),意思是一个二维数组,1行2列,每行有2个元素。对于三维数组就是包含多少个二维数组,后两个数字表示二维数组的形状

2020-06-13 18:21:10 68

原创 读取多个子文件夹中的多张图片

读取在images文件夹中的图片,而这些图片分布在images中的多个子文件夹中,如下图所示:需要用到os.listdir()读取路径下文件的名称;os.path.join()用于将两个路径进行拼接,形成一个新的路径。下面就展示了该如何读取多个子文件夹中的图片。#!/usr/bin/python# -*- coding: UTF-8 -*-import osimport imageio# 打开文件path = "./eds/images"dirs = os.listd...

2020-06-11 20:25:53 285 3

原创 jieba的安装及代码测试

我们再cmd中输入pip install jieba ,安装jieba:可以验证下jieba有没有安装成功,import jieba 没报错就行:我们再来找个代码运行测试下:import jieba.analysetext='''关键词是能够表达文档中心内容的词语、常用于计算机系统标引论文内容特征、信息检索、系统汇集以供读者检阅。关键词提取是文本挖掘领域的一个分支,是文本检索、文档比较、摘要生成、文档分类和聚类等文本挖掘研究的基础性工作'''keywords =..

2020-06-05 11:22:57 285

原创 No module named&#039sklearn.feature&#45extraction&#039&#59 &#039sklearn&#039 is not a package

运行含有sklearn的文件,之前都能运行的,突然就报了下面的错:ModuleNotFoundError: No module named 'sklearn.feature_extraction'; 'sklearn' is not a package出现问题原因:文件名写成了sklearn解决方案:看看是否自己的文件名与函数库名字相同 (换一个文件名) ...

2020-06-04 22:56:22 123

原创 在Jupyter notebook 中如何加载数据集

首先打开Jupyter notebook,显示的页面如下:需要注意的是,Jupyter notebook只能打开当前目录下的数据集,简单粗暴的方法就是直接把数据集拷贝到Jupyter notebook的目录下,比如,我们把我们需要的数据集放到Desktopl桌面上,如下:然后点击右上角的new按钮进入untitled无标题页面,进行相应的代码操作:我们现在来检测下:...

2020-06-04 21:44:48 924

原创 TF-IDF的神秘面纱

TF-IDF算法TF-IDF算法:计算单词权重最为有效的实现方法就是TF-IDF,以特征词在文档d中出现的次数与包含该特征词的文档数之比作为该词的权重。TF(term frequency)词频统计:区别文档最有意义的词语应该是那些在文档中出现频率高,而在整个文档集合的其他文档中出现频率少的词语,因此引入TF,计算单词的词频。IDF(inverse document frequency)逆文本频度:一个单词出现的文本频数越小,它区别不同类别文本的能力就越大。因此引入了逆文本频度IDF的概念。

2020-06-04 16:58:20 70

原创 文本处理——Embedding、Word embedding、Word2vec 之说

这篇主要就是想让大家了解下 Embedding、word embedding、word2vec的一些相关知识。Embedding在数学上表示一个单射的、结构保持的映射 f: X -> Y, 也就是一个function,此处的结构保持的具体含义要依赖于X 和 Y 是哪种数学结构的实例而定。举个例子:我们可以把整数“嵌入”进有理数之中。显然,整数是一个group,同时它又是有理数的一个subgroup。整数集合中的每个整数,在有理数集合中都能找到一个唯一的对应(其实就是它本身)。同时,整数集合中的每个整数

2020-06-03 23:50:20 143

原创 用 DataFrame将 X 和 y 合并及Seaborn Pairplot 展示数据集的内容

在 Sklean 里,模型能即用的数据有两种形式: Numpy 二维数组 (ndarray) 的稠密数据 (dense data),通常都是这种格式。 SciPy 矩阵 (scipy.sparse.matrix) 的稀疏数据 (sparse data),比如文本分析每个单词 (字典有 100000 个词) 做独热编码得到矩阵有很多 0,这时用ndarray 就不合适了,太耗内存。 上述数据在机器学习中通常用符号 X 表示,是模型自变量。它的大小 = [样本数, 特征数],图下图所示。该.

2020-06-02 16:44:36 103

原创 一文带你读懂聚类

作为无监督学习的一个重要方法,聚类是将样本集D划分为若干互不相交的子集,即样本簇。聚类的思想就是把属性相似的样本归到一类。对于每一个数据点,我们可以把它归到一个特定的类,同时每个类之间的所有数据点在某种程度上有着共性,比如空间位置接近等特性。一句话概括聚类结果:簇内相似度高且簇间相似度低。聚类与分类的区别分类是监督学习任务,利用已知的样本标记训练学习器预测未知样本的类别。这就像一个幼儿园的小朋友,老师先拿各种水果教他们,告诉每种水果是什么样子的,接下来这些孩子就会认这些类型的水果了。它有训练和预测两

2020-05-22 23:35:40 207

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除