- 博客(7)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 python处理链接url的重要参数都在#后,需要保存#后内容的处理方法.
在网上看到下面这个问题:某个url的重要参数都在“#”后面，网络请求的时候“#”后面的参数会被忽略，这种情况该怎么处理？在scrapy爬虫框架中会自动过滤掉#后面的内容,这时我们我需要将#进行字符转化,将#转化为%23进行处理.问题如下:当不改变#为 %23时,输出结果入下截图class netcoreSpider(Spider): name = "netcore" ...
2018-09-28 16:27:28
1590
原创 python正则匹配,以某某开头某某结尾的最长子串匹配
python正则匹配,以某某开头某某结尾的最长子串匹配如firmwarename: SMARTCPU_V02.03.02_00.00.01.00_Firmware_update_files.zip 匹配出:V02.03.02_00.00.01.00firmwarename: SMARTCPU_V02.02.00_00.00.01.00.zip 匹配出:V02.02.00_00.0...
2018-09-18 09:32:29
6352
原创 从linux和windows上传文件到服务器指定目录下方法
从windows上传文件到服务器:(1)在windows下上传文件到服务器方法是配置rz和sz功能.sudo pip install lrzsz然后直接文件上传就行rz 为文件上传到服务器sz为文件保存到本地命令(2)从linux上传文件到服务器:下面以ubuntu系统为例:scp -P 2200 netgearSpider.py root@10.10.2.191...
2018-09-17 16:32:47
7724
原创 WebDriverException: Message: 'phantomjs' executable may have wrong permissions错误
python调用无头浏览器的时候出现错误WebDriverException: Message: 'phantomjs' executable may have wrong permissions.错误如下:最直接的做法是进入到phantomjs目录下,找到可执行文件phantomjs,然后使phantomjs修改权限为可执行文件.修改方法如下:$ chmod 777 phanto...
2018-09-17 10:04:31
2221
原创 HTTP status code is not handled or not allowed的解决方法
scrapy框架使用时发生的错误:解决办法:将报错的403加入到settings.py文件中.HTTPERROR_ALLOWED_CODES = [403]
2018-09-11 16:51:24
3790
3
原创 测试代理ip是否有效
(1)免费ip使用地址:www.xicidaili.com(2)编写脚本测试ip是否有效推荐大家看一下这个博客:https://blog.csdn.net/Oscer2016/article/details/75000148这这篇博客很好地展示了免费ip的获取和测试是否能用的情况.下面是我在别的博客上看到的,拿过来使用,发现很难用,有的时候还无法测试出结果.方法一:使用requ...
2018-09-08 13:20:15
12482
原创 ubuntu安装binwalk出现cramfsprogs库文件不存在和无法使用./deps.sh直接安装问题
binwalk安装，在有的ubuntu中无法直接安装，可能会出现这样或者那样的问题。1.使用binwalk中的./deps.sh无法直接安装成功，那么使用setup.py进行直接安装，安装了之后进行环境变量设置。添加binwalk所在位置路径为绝对路径，在/etc/profile文件中修改环境变量。（这一步很关键） 2. cramfsprogs库文件不存在，使用apt-...
2018-09-06 15:59:18
3282
1
智能设备漏洞挖掘中突破点.pdf
2020-06-08
二进制文件相似度计算-（综述）.pdf
2020-06-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人