2018年10月_不愿透露姓名的菜鸟

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

原创 firefox火狐能打开http网址，针对所有https网址无法打开

1.常规的做法遇到https无法打开时，最常用的做法就是各种百度，然后找到的解决方案就是像下面链接处理的这种：https://blog.csdn.net/u011650143/article/details/70303894?utm_source=blogxgwz7http://mozilla.com.cn/thread-376690-1-1.htmlhttp://mozilla...

2018-10-30 10:44:05 9522

原创安装git并使用git上传文件到github

参考下面几篇博客，操作一下就OK了。我写在这里也是为了防止自己忘记。主要有几个比较容易遇到问题的地方：1.SSH Key添加。参考链接：https://blog.csdn.net/laozitianxia/article/details/506821002.GIt连接GitHub时遇到问题 HttpRequestException encountered参考链接：https:/...

2018-10-26 12:38:13 188

原创 python scrapy的crapy.core.downloader.handlers.http11] WARNING: Received more bytes than download 错误

python scrapy框架的爬虫遇到下面的错误，一直没查找到解决的办法，请求大佬指教。在爬取http://firmware.koolshare.cn/网站的时候遇到异常。2018-10-15 22:07:57 [scrapy.core.downloader.handlers.http11] WARNING: Received more bytes than download warn...

2018-10-15 22:21:53 5615 6

原创 python Scrapy的spider中回调函数的多个参数传递方法

通常有两种方法，一种是使用meta进行参数传递。另一种是使用lambda进行参数传递。方法一：使用meta进行参数传递。举例如下：from scrapy.spiders import Spiderimport scrapyimport FirmCrawler.items as MIfrom sets import Setimport timeimport urlpars...

2018-10-15 12:13:08 4360

原创 python的scrapy运用xpath爬取一个标签下的所有文字

通常针对某一行的内容时,使用text().如: filename = d.xpath("./div[2]/div/div/a[1]/text()").extract().pop()针对标签下的存在多个子标签下的多行时,我们采用string(.)进行获取.如: desc_info = d.xpath("./div[2]/div/div") desc_ = desc_info.x...

2018-10-10 16:48:45 4088 1

原创 python处理时间格式转换,将xxxx年xx月xx日转化为xxxx-xx-xx格式

python处理时间格式转换,将xxxx年xx月xx日转化为xxxx-xx-xx格式publish_Time = "2018年10月10日"array = time.strptime(publish_Time, u"%Y年%m月%d日")try： publishTime = time.strftime("%Y-%m-%d", array)except Exception, e:...

2018-10-10 14:20:55 14010