2018年08月_silence cc

11月 10月 09月 08月 07月 06月 05月 04月 03月

原创关于使用scrapy_redis组件没有存取scrapy的请求到redis数据库的问题的解决

发现在使用scrapy_redis组件时，运行爬虫时，在redis数据库里面只有items数据列表和去重指纹集合，但没有scrapy的请求request数据列表，经过不断测试，发现只有在停止爬虫爬取时，才可以在redis数据库里面看到scrapy的request数据列表。爬取前的redis数据库，里面内容为空。数据爬取中时，观察发现只有Items和dupefilter数据，但没有s...

2018-08-17 06:53:20 3214 10

转载 scrapy-redis使用以及剖析

这是转载博客园上的一篇文章，通过下面的这行代码解决了把scrapy的request 存入到redis数据库里面，没开启前只有item列表和去重集合存储到redis数据库。# Enables scheduling storing requests queue in redisSCHEDULER = "scrapy_redis.scheduler.Scheduler"scrapy-redis...

2018-08-16 22:49:53 514

原创 python关于windows创建含有中文字符串的文件夹及文件时乱码的问题处理

文件夹和文件的名字里面含有中文字符串时出现乱码的处理：把该字符串编码转换为unicode或gbk编码的字符串来解决。代码第二行如有声明编码格式如utf-8，则代码里面出现中文字符串的地方就按照utf-8格式的字符串去处理；如没有编码声明，则windows系统默认为gbk编码，而linux默认为utf-8编码。#!/usr/bin/env python# coding:utf-8impo...

2018-08-12 21:52:29 3599

原创使用selenium + Chrome爬取某网站乌云公开漏洞文章并保存为pdf文件

目的：使用selenium + Chrome爬取某网站指定类型的乌云公开漏洞文章，即在win10终端输入漏洞类型（如未授权），则爬取所有该类型的漏洞文章，并把每个分页的数字作为文件夹名，来保存该分页下面的所有的漏洞文章。总结：本例只是能简单的爬取某一类型漏洞的所有文章，但不能爬取多个类型漏洞的所有文章，有时可能会有一些小bug导致没爬取完就崩溃，需要手工修改进而重新爬。其它问题解决看注释。...

2018-08-12 15:44:24 719

转载 CSDN怎么转载别人的博客

在参考“如何快速转载CSDN中的博客”后，由于自己不懂html以及markdown相关知识，所以花了一些时间来弄明白怎么转载博客，以下为转载CSDN博客步骤和一些知识小笔记。参考博客原址：http://blog....

2018-08-10 00:05:04 171

转载 Python必会的单元测试框架 —— unittest

这是huilan_same博客写的关于python的单元测试框架unittest，写的真心不错，转载过来以备学习使用。关于如何快速转载别人博客，参考CSDN怎么转载别人的博客对于转载过程中出现有些内容不在代码块范围内，可在使用markdown编辑时，选中不在代码块的内容，按一次tab键解决用Pyth...

2018-08-09 23:59:33 196

原创解决windows 10环境使用redis-cli.exe不能连接到ubuntu 16.4环境redis-server.exe的问题

本次出现连接不上的原因为ubuntu防火墙开启导致的，关闭防火墙解决搭建scrapy-redis环境时，发现在windows 10里面使用redis-cli.exe -h ip -p 6379去连接ubuntu 16.04系统里面的redis-server时，出现连接不上情况，如果使用windows 10的cmd环境去连接，则出现卡死的界面，如下图：使用redis-desktop-...

2018-08-06 22:29:43 2086

原创解决windows和ubuntu之间的文件拖放问题

在ubuntu 16.04 终端里面，执行命令如下# 首先移除系统原来的虚拟工具条open-vm-toolssudo apt-get autoremove open-vm-tools# 安装桌面版的虚拟工具条，以支持windows和ubuntu之间的拖放sudo apt-get install open-vm-tools-desktop重启ubuntu，让更改生效。...

2018-08-06 21:44:56 12296 6