- 博客(292)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 sklearn的SVM的decision_function_shape的ovo和ovr
SVM本是二分类的分类算法，而由于其直逼神经网络的强大性能，因此也广被应用于多分类领域，这ovo和ovr就是多分类时需要进行选择的两种不同策略。ovo：one versus one，一对一。即一对一的分类器，这时对K个类别需要构建K * (K - 1) / 2个分类器ovr：one versus rest，一对其他，这时对K个类别只需要构建K个分类器。参考资料：Multi class o...
2020-02-05 17:47:02
6869
1
原创 Can not squeeze dim[1], expected a dimension of 1
遇上如题所示问题，多半是因为使用了sparse_categorical_crossentropy作为激活函数这会出现在分类问题中，这个激活函数要求如下：labels vector must provide a single specific index for the true class for each row of logits也就是说，你给的真实输出值，得是一个索引index而不...
2020-02-05 15:21:15
4556
9
原创 python/numpy随机选取训练集/测试集索引
在训练模型中， 往往需要对数据集进行处理，从数据集中随机选取部分数据作为训练集，而另一部分数据作为测试集，一个常用的方法是随机选取索引，下面介绍两种从0~n中随机选取x个不重复索引的方法。注意下述两种方法选出来的都是整数。方法一、用python的randomimport randomdef getRandomIndex(n, x): # 索引范围为[0, n), 随机选x个不重复 ...
2020-02-05 11:39:33
9626
原创 tensorflow2.0 - 保存模型（含自定义模型的保存）
tensorflow2.0保存模型的方式有很多，这里只介绍两种。一、 使用官方模型这种情况可以直接保存整个模型，如下所示，可以将模型保存为HDF5文件# 创建模型实例model = create_model()# 保存模型到HDF5文件model.save('my_model.h5')# 读取模型model = keras.models.load_model('my_model.h...
2020-02-04 15:17:56
6120
9
原创 numpy数组存入文件与取出文件以及注意事项（tofile和fromfile）
我们知道numpy的array是可以保存到文件的，一个常用的做法是通过to_file()保存到而进行.bin文件中，然后再通过from_file()从.bin文件中将其读取出来，下面看一个例子。如下图所示spatiallyRepresentation是一个二维numpy数组，其shape为[31762, 8]接下来将其存入文件中，使用tofile方法即可，参数填入想要保存到的文件路径，然后使...
2020-02-04 14:39:37
9749
原创 （四）tensorflow2.0 - 实战稀疏自动编码器SAE
前文已经介绍完了tensorflow2.0自定义layer、model、loss function，本文将结合前述知识，搭建一个稀疏自动编码器SAE。先简单介绍稀疏自动编码器SAE，其架构如下图所示（图源网络，侵删），三层结构，输出层应尽量和输入层接近，其重点在于中间的隐藏层，隐藏层将数据进行了重新编码，这样做的目的是获得输入数据更好的数据表示。在普通自动编码器中，往往要求隐藏层元素个数要比输...
2020-02-03 13:13:55
6048
19
原创 （三）tensorflow2.0 - 自定义loss function（损失函数）
前文分别讲了tensorflow2.0中自定义Layer和自定义Model，本文将来讨论如何自定义损失函数。（一）tensorflow2.0 - 自定义layer（二）tensorflow2.0 - 自定义Model自定义损失函数有两种情况，一种比较简单，而另一种稍显复杂。先来讨论第一种简单的情况，即不需要额外的参数。什么叫额外的参数呢？损失函数有两个默认参数，分别为实际输出、预测输出...
2020-02-03 12:23:34
19794
3
原创 （二）tensorflow2.0 - 自定义Model
前文写了如何使用tensorflow2.0自定义Layer，本文将讲述如何自定义Model，并将前述的Layer应用到本Model中来。（一）tensorflow2.0 - 自定义layer自定义模型也比较简单，只是需要搞清楚Model中各部分的作用及执行流程即可。由于本例中将使用前文中的自定义Layer，因此先将其代码贴过来以便查阅，没看过前文的也没关系，不影响对自定义模型的理解。im...
2020-02-03 11:56:23
5911
11
原创 （一）tensorflow2.0 - 自定义layer
最近在用tensorflow2.0搭建一个简单的神经网络，虽然结构简单但是由于对自定义有要求，官方提供的layer和model不能满足要求，因此需要自行对layer、model、loss function进行自定义。由于tensorflow2.0发布不久，国内相关文章较少，我便决定写上这一系列文章。本文讨论tensorflow2.0中如何自定义layer。本文不讨论tensorflow1和2在...
2020-02-03 10:56:54
5532
原创 tensorflow2.0中Layer的__init__()，build(), call()函数
最近在实验中，需要用到tensorflow建立一个简单的模型，但鉴于部分要求比较苛刻，不能直接使用其内置的layer，因此需要自定义一个layer类，这便涉及到了对__init__(), build(), call()这三个函数的理解先看官方手册中使用了Layer中的这三个关键函数的一个简单的实例：class MyDenseLayer(tf.keras.layers.Layer): def...
2020-01-31 22:07:24
14550
6
原创 python中__init__和__call__的区别
python类中，__init__和__call__方法都是用来初始化类的，但是它们之间存在一些区别。__init__是用来在初始化类的对象时被调用，同时可以传入一些参数。__call__用来在调用该对象时被触发。具体可以看下面的例子class A: def __init__(self): print "init" def __call__(self): print ...
2020-01-31 21:30:39
949
1
原创 scrapy在start_requests中传入参数给parser
scrapy在start_requests中发出请求时，需要传入一些参数进行动态控制。为保证scrapy的请求的并发性，将其改为串行执行显然严重影响效率，因此不考虑采用全局变量的方法。因此可以使用在scrapy.Request中加入meta数据的方式向parse传入参数，如下代码的请求中加入了meta元素，包含regionId字段，可在parse中解析到 def start_request...
2020-01-17 10:55:38
1926
原创 crawl: error: Unrecognized output format 'json''
在使用scrapy并将爬取数据保存到.json格式文件中出现如题所示错误，可以看到json后面有俩''，所以事实上是保存路径无需加引号，而我加上了单引号，所以报错。我的错误：正确写法：...
2020-01-16 21:07:48
1181
原创 判断一个点是否在多边形区域内部 / 判断一个给定位置是否位于某个城市内部
目前实验中有个需求，即给定一个经纬度，判断其是否处于某个城市内部。本来是想使用Google Earth的接口，然而谷歌一直不通过我的开发者账号申请，遂自己写了一个程序来实现该功能。首先一个城市的轮廓必然是多边形的，那么得先获取该多边形的每个点的坐标，即城市多边形边界的表示。怎么找城市边界的坐标呢？如下图所示，下图来自于：Getting polygon boundaries of City in...
2020-01-16 10:43:43
1669
3
原创 scrapy爬取页面不完全的解决办法
最近在使用scrapy来制作爬虫以爬取一些网站上的信息，但是却出现了一个很奇怪的问题，即在网页中打开待爬取的URL，并在网页源代码中定位了某些待爬取的元素，但是当使用scrapy爬取数据时，却发现报错了，而错误竟然是所爬取到的网页中并没有我在浏览器中看到的元素，即对于同一个URL，爬取到的页面和我在浏览器中打开所看到的页面不一样！在反复确认CSS类选择器没写错，爬虫所爬取的URL没有被重定向到另...
2019-12-25 23:41:59
5179
原创 module 'tensorflow._api.v2.train' has no attribute 'rmspropoptimizer'
tensorflow1.X的版本使用rmspropoptimizer的调用方式为tf.train.RMSPropOptimizer()然而去看新版官网：https://www.tensorflow.org/api_docs/python/tf/keras/optimizers/RMSprop?version=stable当tensorflow2.X想使用该优化器时，其调用方式为：tf.opti...
2019-12-24 20:37:26
8102
1
原创 tf.image.resize处理后的图片无法使用plt.imshow正常显示
在使用tensorflow对图片进行预处理的时候，我使用了tf.image.resize这个函数将原始图片tensor转换成100×100的固定大小，暂且不讨论其压缩方式是否合理，但是在使用plt.imshow对其处理过后的图片进行显示时却出现了很奇怪的问题，即图片无法正常显示。具体表现为：原始图像为：处理后显示的图像如下，仅包含一些不明所以的像素点，这显然不是我们需要的：然后去查看re...
2019-12-24 18:47:18
919
1
原创 如何将tensor大于某个值为1，小于某个值为0
方法很简单，定义一个简单的函数，imgTensor是传入的需要转换的tensor，boundary是这个临界值，即大于boundary的值设为1，小于boundary的值设为0。本函数使用tf.where来实现，那么很容易可以看出我们可以任意设置tensor大于某个值（或小于某个值）时的值，只需要将下面代码中的tf.ones_like（或：tf.zeros_like）改成tf.fill()来构造一...
2019-12-24 16:12:35
11894
2
原创 Blas GEMV launch failed: m=3, n=10000
在使用tensorflow处理图片的时候，出现了如题所示错误。本次运行使用了独显进行计算，而错误原因是因为同时运行了多个占用显卡运行资源的程序！比如同时运行了好几个jupyter的kernel，或者在pycharm中选择了run with python console且同时开启了多个console窗口，或者在运行jupyter的时候又运行了pycharm，就会造成这种问题。因此解决办法就是：只...
2019-12-23 22:40:02
1908
4
原创 python将两个列表对应成为字典
实现python中将两个列表对应成字典，常用的方法需要借助zip函数下面举个很简单的例子a = [1,2,3]b = ['a', 'b', 'c']dict(zip(a, b))输出为下面简单介绍下zip函数，下图是zip自己的介绍，可以看到它有一个__next__()方法，返回一个元组，这个元祖就是输入参数中给定的列表的第i个元素的组合，每调用一次__next__()都会返回下一...
2019-12-23 11:57:03
1773
原创 Scrapy307重定向
最近在用Scrapy写爬虫，但是爬取有的网站时会出现307重定向的错误，使得无法爬取到正确网站，这往往是因为原网站采用了反爬虫机制导致的。在StackOverFlow上有人提出了这个问题：scrapy 307 redirects to same page这里的答案指出了307是Cookie的问题，它的建议是打开Cookie，并需要自己分析哪些是网站真正需要的用来鉴别是机器访问还是认为访问的数据...
2019-12-22 16:54:29
1154
原创 scrapy- invalid hostname: 'http'
在windows上使用scrapy shell命令时，出现了如题所示的错误，官网已经给出了解释将单引号改成双引号即可。
2019-12-19 15:09:49
336
原创 tensorflow2.0常用操作记录
tensorflow是非常流行的深度学习框架，其2.0版本与其1.0版本也有较大不同，因此笔者就近期对tensorflow2.0的基本操作的学习进行记录，以供日后查阅。创建tensortf.constant(1)tf.constant(1.)tf.constant(2.2, dtype=tf.double)tf.constant(2.2, dtype=tf.float16)tf.con...
2019-12-10 21:01:38
366
原创 win10上tensorflow-gpu2.0安装完全指南
现在学习研究中深度学习基本上是标配了，而tensorflow作为常用的深度学习框架之一，且其2.0版本也改静态图为动态图，相当于对pytorch的优势的一次狙击，加之一直以来，尽管在tensorflow2.0版本发布前，其经常被用于作为Pytorch的一个反面教材，但是它的用户量一直以来都要远高于pytorch，而今2.0正式版也已经发布，其能否取代新晋网红pytorch的位置还不好说，但是这并不...
2019-11-30 21:49:16
727
原创 如何使用Ubuntu/Linux系统远程连接Windows桌面
此连接需要一个包支持，叫做rdesktop首先安装一下：sudo apt-get install rdesktop然后：rdesktop -f -u 登录用户名 IP地址-f是表示全屏，可以不加，加上后就是全屏进入，而如何退出全屏呢？只需按ctrl+alt+enter即可...
2019-09-27 13:09:55
238
原创 如何将.fig图片保存为.eps格式
matlab中我们生成的图片常为.fig格式的，但是为了在论文中获得高清图片，因此我们一般需要将为其修改为.eps格式，修改的方式其实异常简单！首先将图片拖入matlab中，然后会弹出如下界面：在文件菜单下选择另存为即可更改保存的格式了。...
2019-09-24 19:56:45
4023
原创 IEEE期刊投稿的LaTeX模板
可以在IEEE Article Templates中找对应期刊的模板，但是可以看到所列出的期刊很少，往往没有所需要的对应期刊的模板，这时候需要耐心一点看看网站上的说明：如果没找到，就用这个Transactions templates就行了，也就是下载列表的第一个。...
2019-09-22 17:19:01
2408
转载 LaTeX中一组图片分页显示的方法
Sometimes you need to divide up a figure over multiple floats, for instance because the figure is too big to fit on one page. In this case you can use continued figures using the caption package.Put ...
2019-09-21 09:49:19
7800
2
原创 LaTeX表格中\multirow的使用
有时候在latex的表格中，如果一段文字跨越多行时，往往会在另外的一行处加上\multirow，为何呢，不加的话表格内的内容超过一行了也会自动换行的呀。下面可以看一下对比。如下图所示为LaTeX一个2列的列表的两行，上面一行没有加\multirow，而下面一行加了，那么实际效果如何呢？注意下图中A的位置！是不是发现使用了 \multirow的行的A是跨了4行的，因此\multirow不是用来...
2019-09-21 09:07:41
37717
2
原创 Unknown float option `H'. \begin{table}[H]
LaTeX的表格在设置浮动时提示了如题所示错误，首先能肯定没写错，那么显然是少导了包。因此导入一个名为float的宏包即可。在文档导言内加上如下代码即可：\usepackage{float}...
2019-09-21 08:25:53
9882
5
原创 边缘计算与雾计算
现在人们常将云计算、边缘计算、雾计算放在一起来讨论，而云计算大家都很熟悉了，但是往往很难搞清楚什么是边缘计算，什么是雾计算，而网络上的文章多为长篇大论，又说不清楚，本文将尽量用浅显明了的方式对其进行介绍及区分。在过去，小企业搭建网站等在线服务平台都需要自备服务器，成本高昂；大企业则会有双十一这种并不经常性的人气暴增的时候，为了保证用户体验，则往往购置了许多服务器以提供服务，但是在大多数时候许多服...
2019-09-15 16:09:56
572
1
转载 更新tensorflow版本的方法
pip install -U tensorflow==2.0.0rc1等号后面加版本号。本文转载自：https://blog.csdn.net/qq_34706735/article/details/89953980
2019-09-14 09:44:24
708
原创 观“边缘计算+5G：赋能边缘，共塑未来”有感
本文为观看2019年世界计算机大会中科院空天信息研究院研究员李新明 于9月11日上午在长沙 所做的“边缘计算 + 5G：赋能边缘，共塑未来”的报告后所记录下的观后感。如今机器学习、大数据、5G、云计算等高新技术正迅猛发展，信息2.0时代即将到来，该时代应当具有智能、无人、自主这三大特点。可以预见在5G时代中，接入网络中的设备数将会继续增加，截至目前加入网络的设备数量已经达到了千亿级。而随着传输...
2019-09-12 19:57:55
696
原创 hexo博客进行百度、谷歌SEO
文章目录前言纳入百度/谷歌搜索引擎百度谷歌使用sitemap进行优化注：可移步至我的博客以获得更好的阅读体验：hexo博客进行百度、谷歌SEO前言搭建了hexo博客并上传至github后，在百度或谷歌里输入：site:yinyoupoet.github.io会出现如下图片↓这意味着百度尚未收录入我的博客，即我们无法在百度上搜到我们自己写的博客，而我们新生个人博客本身流量就低，因此我...
2019-09-04 09:33:22
654
原创 typora + hexo博客中插入图片
可以看看我在hexo博客中的效果：typora + hexo博客中插入图片在使用了hexo搭建了博客后，最大的问题便是如何使用一款markdown工具来编辑博客了，我采取的就是Typora，这工具免费简单易用没广告，而且把图片保存到本地还是很方便的，因此大家只要稍微了解点markdown语法就可以上手使用了。关于图片和图片路径的设置，有以下教程。事先声明，所有博客文件均保存在 hexo/_p...
2019-09-03 18:40:54
5719
4
原创 基于hexo搭建的github博客，删除博客后github页面上不更新
我在本地删除.md博客文件后，再输入hexo ghexo d理论上此博客应该已被删除，然而在github首页上显示并没有变化，而如果使用hexo s 看本地页面的话，确实已经被删除了。然后去看github上对应的仓库，可以看到仍然存在已删除的文件！那么解决方法也简单，在本地先输入hexo clean，然后再hexo g，再hexo d即可...
2019-09-03 07:35:39
1609
原创 keras出现Process finished with exit code -1073741819 (0xC0000005)
今天学习了keras的基础用法便跟着教程悄咪咪用keras撸了一遍mnist的手写数字识别，然后便出现了上述错误，不过要是不出点错心里倒还不自在，那么就直接解决这个问题吧。出现该问题的可能性有很多种，网上的解决方案也五花八门，因此本文只论述我的解决办法。我的问题是h5py这个包的版本问题，只需要将其更新到2.9.0即可。但是如果使用清华源的话，更新不到最新版本！！因此必须切换回默认源。切换...
2019-08-23 22:03:27
974
原创 pip或conda更新不到包的最新版本，或出现requirement alread up-to-date却并非最新版本
有时候在使用pip或conda更新包的时候，明明不是最新版的包，却提示为最新版本，这时候往往是下面的原因。国内用户为了提高下载速度往往会使用清华源，然而由于种种原因，清华源里面的很多软件包并不是最新版的，因此这个时候进行下载，尽管包并不是最新版，但仍然会提示requirement already up-to-date，这时候我们只需要换回默认源即可，在命令行输入如下代码：conda confi...
2019-08-23 21:55:17
2269
1
翻译 海维赛德阶跃函数Heaviside step function
海维赛德阶跃函数又称单位阶跃函数，是一个不连续函数，其最简单的定义如下：即当x大于0时，H(x) = 1；x小于0时，H(x) = 0但是对于x等于0时的函数值，却有不同的说法比如下图所示的一个替代形式：亦或使用half-maximum约定，则可将其定义如下：与一般的离散型函数不同，H(0)的定义在实际应用中是非常重要的本文翻译自：https://en.wikipedia.org...
2019-08-15 10:15:01
20066
1
软件学报模板2016.zip
2019-12-28
利用bootstrap与jQuery制作的响应式自适应导航栏
2017-07-11
bootstrap实现响应式自适应导航栏，并实现平滑滚动
2017-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人