自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

u014229742的博客

一起学习,共同进步!

  • 博客(206)
  • 收藏
  • 关注

原创 菜鸟进阶:(10)常用的激活函数的理解与总结

常用的激活函数的理解与总结1.什么是激活函数所谓的激活函数(Activation Function),就是在人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。单一神经元模型如下:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B6ExUfNB-1603869802920)(C:\Users\admin\AppData\Roaming\Typora\typora-user-images\1603855062714.png)]神经网络中,每一个神经元节点接

2020-10-28 15:23:36 37

原创 菜鸟进阶:(9)

OSError: [WinError 126] 找不到指定的模块。 Error loading “C:\Users\63400\PycharmProjects\testmtcnn\venv\lib\site-packages\torch\lib\caffe2_detectron_ops.dll” or one of its dependencies.

2020-10-06 19:43:20 24

原创 菜鸟进阶:(8)pip install torch出现错误

pip install torch出现各种错误,然后一直百度,花了一天都没解决。最后发现还是第一次百度的方法解决了我这一天的问题,欲哭无泪!首先使用Python的pip安装命令: pip install torch 出现错误解决办法:这时需要先下载pytorch包,根据自己的python版本选择。pytorch包链接:我就是下载了安装包,但是因为网络原因,没有下载成功就放弃了。结果第二天死马当作活马医,天啊,居然不到两分钟就下载成功了!https://www.lfd.uci.edu/~gohlke/

2020-10-06 17:36:26 52

原创 菜鸟进阶:(7)numpy的np.max用法

np.max:(a, axis=None, out=None, keepdims=False)求序列的最值最少接收一个参数axis:默认为列向(也即 axis=0),axis = 1 时为行方向的最值;np.maximum:(X, Y, out=None)X 与 Y 逐位比较取其大者;最少接收两个参数a = np.array([[1,10],[5,9]])print(a)print(np.max(a,0))结果:[[ 1 10][ 5 9]][ 5 10]..

2020-09-17 15:50:26 97

原创 菜鸟进阶:(6)numpy的argmax用法

解释还是从一维数组出发.看下面的例子.import numpy as npa = np.array([3, 1, 2, 4, 6, 1])print(np.argmax(a))4argmax返回的是最大数的索引.argmax有一个参数axis,默认是0,表示第几维的最大值.看二维的情况.import numpy as npa = np.array([[1, 5, 5, 2],[9, 6, 2, 8],[3, 7, 9, 1]])print(np.argmax(a, axis=0))[

2020-09-17 15:36:35 23

原创 菜鸟进阶:(5)<class ‘numpy.ndarray‘>和<class ‘torch.Tensor‘>相互转换

import torchimport numpy as npa = torch.tensor([[1,2],[3,4]],dtype=torch.float32)print(a,type(a),a.dtype)"""tensor([[1., 2.], [3., 4.]]) <class 'torch.Tensor'> torch.float32"""b = np.array([[1,2],[3,4]],dtype=np.float32)print(b,type

2020-09-17 10:42:58 33

原创 菜鸟进阶:(4)各种损失函数总结

(1).MSELoss:输入和输出形状要相等:输入,输出:N2,label:N2 多分类(2)BCELoss:二分类,和MSELoss类似,但其输出必须经过sigmoid激活;一般用来做置信度损失(3)BCEWithLogitsLoss:和sigmoid组合在一起了,就不用做sigmoid激活;相当于sigmoid+BCELoss(4)CrossEntropyLoss():多分类,#自动对网络输出做softmax缩放,自动对标签求one-hot...

2020-09-15 20:57:48 14

原创 菜鸟进阶:(3)python-zip函数

zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表。l1=[1,2,3]lt2=[4,5,6]for a,b in zip(l1,lt2): print(a) print(b)输出结果:142536...

2020-09-15 20:56:26 10

原创 菜鸟进阶:(2)压缩 / 解压张量:torch.squeeze()、torch.unsqueeze()

x = torch.randn(3, 1, 2)xtensor([[[-0.1986, 0.4352]], [[ 0.0971, 0.2296]], [[ 0.8339, -0.5433]]])x.squeeze().size() # 不加参数,去掉所有为元素个数为1的维度torch.Size([3, 2])x.squeeze()tensor([[-0.1986, 0.4352],[ 0.0971, 0.2296],[ 0.8339, -...

2020-09-15 11:10:09 8

原创 菜鸟进阶:(1)<class ‘torch.Tensor‘>操作

loss_total = tensor(1.7320, device=‘cuda:0’, grad_fn=)如何取精度值呢?loss_total = loss_total.item()输出结果:1.7319945096969604

2020-09-15 10:48:56 55

原创 添加谷歌扩展程序遇到的问题

休假结束,感觉整个脑袋像个浆糊一样。啊啊,今天添加谷歌扩展 程序花了很久,一个很简单的问题弄了。添加代理插件的时候一直失败,提示不是扩展程序或者未能成功加载扩展程序。最后直接下图傻瓜式操作解决。...

2020-07-21 15:59:17 85

原创 项目遇到的一些问题

近期做的都是迭代项目,代码基本每个月都可以正常运行,只是如果突然加速,会导致某些网站数据拿取不到。故特地做一下总结,主要目的是为了提醒我自己:1.爬虫迭代项目最好控制匀速爬取,不要突然大量提速,容易导致爬虫被识别到2.代码的爬虫行为被网站检测到后,可能1-2小时左右,无法从网站拿取到数据,此时不要着急修改代码,可以先等上2小时候后再运行爬虫基本每次突然大量提速,一些本来反爬比较严格的网站就会...

2019-12-25 14:39:05 96

原创 成功安装了docker-compose,但是一直提示command not found...

Here’s how I fixed this issue: Refer Docker Compose documentationsudo curl -L https://github.com/docker/compose/releases/download/1.21.0/docker-compose-(uname−s)−(uname -s)-(uname−s)−(uname -m) -o /u...

2019-11-29 17:21:58 665 1

原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 in position 9: invalid start byte

f = open(file_path, 'r',encoding='utf-8)代码一直报错误:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x93 in position 9: invalid start byte,应该是编码方式不对,最后修改为以二进制方式读取才算解决: f = open(file_path, 'rb')...

2019-11-28 15:57:30 134

原创 ModuleNotFoundError: No module named 'fcntl'

解决办法:在python路径下的Lib中新建一个fcntl.py文件内容如下:def fcntl(fd, op, arg=0):return 0def ioctl(fd, op, arg=0, mutable_flag=True):if mutable_flag:return 0else:return “”def flock(fd, op):returndef lockf(fd...

2019-11-28 11:24:22 4084

原创 运行python run_flower.py 一直找不到节点

执行pip install flower后,再运行python run_flower.py就可以了

2019-11-28 10:01:26 115

原创 centos安装淘宝cnpm成功后,报错: bash: cnpm: command not found...

(1)安装cnpmnpm install -g cnpm --registry=https://registry.npm.taobao.org(2)cnpm -v未找到命令(3)建立软连接后,再查看版本就大功告成啦!note:删除易建联的软连接rm -rf /usr/local/bin/cnpm...

2019-11-27 11:25:51 308

原创 github使用教程(3)

1.将本地代码push到githubgit initgit add ./* #根据自己实际情况进行添加git commit -m “first commit”git remote add origin https://github.com/66/66tomization.gitgit push -u origin master2.将远端代码拉取到本地git initgit ...

2019-11-14 15:34:46 43

原创 爬虫取列表遇到的问题总结

比如我想取类似下面的博客里的所有标题![在这里插入图片描述](https://img-blog.csdnimg.cn/20190925160159244.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQyMjk3NDI=,siz...

2019-09-25 16:05:50 78

原创 一些解决问题的心得体会

最近一直在弄一个爬虫系统项目,遇到过很多小问题,可是在没解决之前都是花了我很久的时间。因此,特地向写一点总结:1.遇到问题不要害怕,不要畏首畏尾。一个字,干就行2.解决问题的最好办法是找各种方法进行尝试,原地发呆并非良方3.充分利用网络,个人比较懒,不想翻译英文网页,一般直接采用百度。其实百度就很厉害,基 本可以解决大部分的问题,可是搜问题也有讲究。尽量多总结问题,然后向百度以各...

2019-09-12 11:25:03 488

原创 运行run_flower.py文件一直无法打开http://localhost:5555/解决办法

几乎一下午一直无法进入http://localhost:5555/,找了很久原因都没解决。最终一个博客直接解决了我的问题。直接:pip install flower然后访问 http://localhost:5555/ 即可。吐血。。。。。。。...

2019-09-12 11:05:35 427

原创 运行程序遇到的问题

py4j.protocol.Py4JJavaError: An error occurred while calling o36.load.org.apache.spark.SparkException: Unable to create database default as failed to create its directory /user/hive/warehouseat or...

2019-07-25 10:55:27 163

原创 后端返回URL某一部分的值

1.http://www.cnlinfo.net/ 从这里输入公司名字,获取企业黄页信息2.输入关键字后,后端会返回拼凑的URL后半部分,根据JS代码,我们可以通过以下办法获取到完整的urlimport requestsurl =“http://www.cnlinfo.net/ashx/BianMa.ashx”data ={ “TypeNum”: “3”, “ZhongWen”: “北京...

2019-05-22 16:47:42 280

原创 页面解析

1.content= response.content.decode(‘gb2312’, ‘ignore’)html = etree.HTML(content)2.html = etree.HTML(response.text)

2019-05-22 14:19:47 828

转载 检查代理是否可用

import requestss = requests.session()url =“https://mail.163.com/”s.keep_alive = Falses.proxies= {“https”:“47.100.104.247:8080”,“http”:“36.248.10.47:8080”, }s.headers= headerr = s.get(url)print(...

2019-05-18 09:41:59 969

原创 join的使用总结

try: #addr 是一个列表 ['山东省','青岛市','奎文区'] addr = html.xpath('//dl[@class="codl"]/dd[1]/a//text()')#拿到地址所属省、市、区 address = '\u0002'.join(addr) #直接拼接list中内容 山东省\x02潍坊\x02奎文区except: mailing_add...

2019-05-16 10:04:58 66

原创 strip()函数总结

1.描述Python strip()方法用于移除字符串头尾指定的字符(默认为空格或者换行符)或字符序列。注意:该方法只能删除开头或是结尾的字符,不能删除中间部分的字符。2.语法strip()方法的语法:str.strip([chars])3.参数chars–移除字符串头尾指定的字符序列。4.返回值返回移除字符串头尾指定的字符生成的新的字符串。5.实例str = “0000000...

2019-05-15 23:29:55 4095

原创 不显示验证https的安全证书

urllib3.disable_warnings() # 不显示验证https的安全证书

2019-05-08 11:34:40 252

原创 遇到的一些编码问题

from urllib.request import unquoteurl = ‘https://cn.mdina.com/companysearch.do?source=1&word=��Ҧ�пƿ���ҵ���޹�˾’newurl= unquote(url, encoding=‘gb2312’)print(newurl)...

2019-05-06 15:15:57 3616

原创 chorme调试Paused in debugger问题解决

2019-04-29 09:52:50 155

原创 当无法使用xftp传输文件到linux时的解决办法

yum -y install lrzsz安装好了 输入rz

2019-04-18 15:41:51 1405

原创 Project(1)阶段性总结续文

爬取的项目大概有200多万数据,基本都是做数据补全。目前已经接近尾声,还是遇到不少问题,感觉还是要总结一下才对得起花费的时间。爬虫过程,最好将整个页面也拿下来。这次爬虫吃了大亏。同一数据爬取了3次,因为每次拿到的数据和网页不一致。后来采取了保存整个网页,这样,在数据验收的时候,当发现爬取下来的数据和网站上的数据不一致的时候,只需要检查拿去下来的整个页面就可以了。这样即使爬取的数据和当前网页...

2019-03-22 11:45:18 74

原创 继403后又发现一个坑

发现爬取的数据正确,但是时间不对。最后想到的解决办法是重新爬,可以重新爬取有80多万的量,这样下去又要花很久的时间。突然发现爬虫中保存HTML页面的必要性。虽然爬取的时候感觉这样很麻烦,可是如果大量数据已经爬取完成,再发现小问题都无从考证,到底是爬取方案有问题,还是页面数据更新了?没有原始网页,这些都无从考证!切记:以后爬虫尽量保存原始页面,这样出问题了,可以分析自己的原因。而且也不用重新爬取,...

2019-03-20 16:31:59 177

原创 使用linux命令每隔一段时间启动一次爬虫

while [ 1 ]; do python3 test.py & sleep 600;pkill -9 test.py; done

2019-03-19 17:44:38 334

原创 启动Appium报错解决办法

在命令行中输入“adb shell”进入shell之后,再输入“cat /system/build.prop”获取到deviceName

2019-03-12 11:49:02 740

原创 [WinError 5] 拒绝访问。: 'd:\\anaconda\\lib\\site-packages\\cryptography\\hazmat\\bindings\\_constant_ti

通过pip install mitmproxy安装mitmproxy报错:[WinError 5] 拒绝访问。: 'd:\anaconda\lib\site-packages\cryptography\hazmat\bindings\_constant_ti。。。。。。解决方法是:pip install --user mitmproxy...

2019-03-11 16:46:02 1363

原创 fiddler突然抓不了包的解决办法

今天fiddler突然抓不了包的解决办法,百度了很多办法都没解决,最后发现是因为我浏览器使用了直接代理,当选择为系统代理后,fiddle就可以正常抓包了。...

2019-03-08 17:04:00 3268

原创 Project(1)阶段性总结

从2月底出去过年的时间,一直在忙着一个补全数据的项目,从开始的对项目反感抵触(主要是觉得简单),但真正的经历过后,一路上受益匪浅,还是学到了很多的东西。从该项目中主要学到以下:1.不管做什么之前,先捋顺思路,第一步做什么,下一步做什么很关键。比如针对该项目,我觉得我应该这样去完成将所有的数据按照一个标准去重,并给其一个规范的命名,最好这些命名有迹可循,不至于时间长了后,自己都不知道是什么...

2019-03-08 16:10:47 88 1

原创 继403,503后遇到的问题

1.随着代码的运行,网站会返回403,503给我,然后我切换IP重新获取,可以获取到数据。2.但是遇到一个问题,就是代码跑着跑着,一直在报403,一直在切换IP重新获取数据。3.可是我发现一个现象,就是我此时重新运行爬虫代码,又可以获取大量的数据,不会报403.随着代码的运行,又开始报403,卡死。。。。。。。最终解决办法:既然程序每次重启就可以拿到数据,那么我就采用这样的办法不就解决了?...

2019-03-04 10:38:26 203

原创 使用python语言驱动火狐浏览器配置步骤

1.下载火狐浏览器2.下载电脑对应版本的火狐驱动程序geckodriver.exe3.安装获取浏览器后将geckodriver.exe放在其目录下,并将该火狐浏览器路径添加到环境变量PATH中4.pycharm选择对应的解释器,并把geckodriver.exe放在和python.exe同级路径下,并将geckodriver.exe所在的路径添加到环境变量PATH中5.设置程序中execu...

2019-02-27 17:24:52 1657

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除