python
文章平均质量分 69
没办法,太难了
这个作者很懒,什么都没留下…
展开
-
pil.unidentifiedimageerror: cannot identify image file
解决方法一:加try except,直接别管这个异常解决方法二:把import Image替换成from PIL import Image按方法一可能会在后面其他地方依旧报其他错。方法二呢,很多人都说有用,不过我这里还是不行。一般这种异常和找不到文件的异常是不一样的,这种情况是图片存在,但是由于某种原因打不开,可能是你复制图片的时候出了问题。解决方法三:找到这个图片,删除,然后把原图片重新复制到这个文件夹,就解决啦。...原创 2020-10-09 12:50:36 · 41617 阅读 · 14 评论 -
Pytorch scatter_函数
搜出来的博客很多都写得不清楚,所以我在看了一会了后才发现了这个函数的规律。其实很简单scatter_(dim,index,src)dim=0就是每列,dim=1就是每行index就是要填充的位置src可以是一个tensor也可以是一个标量>>> x = torch.rand(2, 5)>>> xtensor([[0.3469, 0.8207, 0.6422, 0.4681, 0.2340], [0.1284, 0.0996, 0.0661,原创 2020-07-29 17:49:39 · 197 阅读 · 0 评论 -
PyTorch 深度学习:60分钟快速入门(2) ----Autograd: 自动求导
PyTorch 中所有神经网络的核心是autograd包.我们首先简单介绍一下这个包,然后训练我们的第一个神经网络.autograd包为张量上的所有操作提供了自动求导.它是一个运行时定义的框架,这意味着反向传播是根据你的代码如何运行来定义,并且每次迭代可以不同.接下来我们用一些简单的示例来看这个包Tensortorch.Tensor是包的核心类。如果将其属性设置 .requires_gra...翻译 2018-12-26 15:10:32 · 328 阅读 · 0 评论 -
PyTorch 深度学习:60分钟快速入门(1) ----什么是PyTorch
译自 pytorch官方文档作者:Soumith Chintala教程目标:深入理解PyTorch张量库和神经网络训练一个小的神经网络来分类图片这个教程假设你熟悉numpy的基本操作。注意请确保torch和torchvision包已经安装。一.什么是Pytorch它是一个基于Python的科学计算包,目标用户有两类:为了使用GPU来替代numpy一个深度学习研究平台...翻译 2018-12-26 14:24:29 · 330 阅读 · 0 评论 -
python---感知哈希算法
某些情况下,我们需要检测图片之间的相似性,比较简单、易用的解决方案是采用感知哈希算法感知哈希算法是一类算法的总称,包括aHash、pHash、dHash。顾名思义,感知哈希不是以严格的方式计算Hash值,而是以更加相对的方式计算哈希值,因为“相似”与否,就是一种相对的判定。aHash:平均值哈希。速度比较快,但是常常不太精确pHash:感知哈希。精确度比较高,但是速度方面较差一些dHas...原创 2018-11-13 22:55:53 · 2519 阅读 · 0 评论 -
scrapy---获取大量ip,异步写入,并多进程验证
我们在爬一些网页的过程中经常会碰到ip被封的情况,比如说拉勾网,这个时候就只能换ip。有些网站给我们提供了大量的免费ip(收费的也有,但是目前我只是自己随便写写,就没必要去买了。。。),比如http://www.xicidaili.com 我们就可以自己去爬一些下来备用(有什么好的问题可以在评论里提出来,方便大家一起进步)1.获取免费ip下面先放代码,这是一个静态网站,所以爬起来很简...原创 2018-09-02 19:19:05 · 1068 阅读 · 0 评论 -
scrapy 爬取天猫淘宝的某个商品评论
这是商品的原url(爬这个的时候刚好七夕左右,所以就想着看看毛绒玩具熊,但是没有gf,连送的人都没有。嘤嘤嘤) https://detail.tmall.com/item.htm?spm=a220m.1000858.1000725.6.43a61af4WhDqVT&id=541017907539&skuId=3446836044419&user_id=2457021...原创 2018-08-20 00:22:48 · 3908 阅读 · 0 评论 -
python使用scrapy爬取数据并保存到mysql以及遇到的一些问题
首先以管理员身份打开cmd 输入 pip install --index https://pypi.mirrors.ustc.edu.cn/simple/ pymysql 安装pymysql然后开始下一步操作:这是我项目的items.pyclass TaobaoItem(scrapy.Item): # define the fields for your item here...原创 2018-08-15 23:46:49 · 2242 阅读 · 1 评论 -
no such element:Unable to locate element:{xx:xx,yy:yy}
一般出现这种地位不到元素的问题,都是页面没加载完成 所以最简单直接的方法就是 模拟下滑到底部操作#滑到页面底部js='var q=document.documentElement.scrollTop=100000'browser.execute_script(js)time.sleep(5)#滑回页面顶部js='var q=document.documentElement.scro...原创 2018-08-02 23:30:56 · 509 阅读 · 0 评论 -
Webdriver byclassname error:"Compound class names not permitted
neiron = browser.find_elements_by_class_name(‘d_post_content j_d_post_content clearfix’)当class的属性值里有空格的时候,就需要这样写neiron = browser.find_elements_by_css_selector(‘.d_post_content.j_d_post_content.c...原创 2018-08-02 23:21:50 · 193 阅读 · 0 评论 -
scrapy.shell 碰到503的错误
这几天刚刚学习scrapy的时候,有的时候想用scrapy.shell验证一下xpath的正确性,方便点,但经常遇到503的错误,所以总结一下: 打开cmd直接输入scrapy.shell, 就会报错503所以我们需要这样做,进入项目的spiders文件夹 然后就ok了但是在这之前,我们还需要设置一些东西,进入你要爬的网站,比如http://www.xicidaili.com...原创 2018-08-09 23:14:23 · 2271 阅读 · 2 评论 -
pip国内镜像
清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣:http://pypi.douban.com/simple/临时使用: 可以在使用pip的时候加参数-i htt...原创 2018-08-04 18:46:17 · 219 阅读 · 0 评论 -
安装Scrapy库报错 “error: Microsoft Visual C++ 14.0 is required. ”解决方法
在windows下,在dos中运行pip install Scrapy报错:error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”在https://www.lfd.uci.edu/~gohlke/pythonlibs/中搜索twisted对应版本的whl文件...原创 2018-08-04 18:10:20 · 215 阅读 · 0 评论