- 博客(5)
- 收藏
- 关注
RSS订阅
原创 Python scrapy自定义【传入参数】及【定时调度】~详解~附代码，纯干货++
关于如何在使用scrapy时传入自定义参数~启动的commands文件夹(跟spider文件夹同一级)里run.py文件：import scrapy.commands.crawl as crawlfrom scrapy.exceptions import UsageErrorfrom scrapy.commands import ScrapyCommand# noinspection...
2019-08-05 22:19:32
1129
原创 Python：实现Mysql性能优化分表之“水平分割”！附代码~
一：为什么要分表？如果一个表的每条记录的内容很大，那么就需要更多的IO操作，如果字段值比较大，而使用频率相对比较低，可以将大字段移到另一张表中，当查询不查大字段的时候，这样就减少了I/O操作如果一个表的数据量很少，那么查询就很快；如果表的数据量非常非常大，那么查询就变的比较慢；也就是表的数据量影响这查询的性能。表中的数据本来就有独立性，例如分别记录各个地区的数据或者不同时期的数据，特别是有...
2019-10-25 12:39:51
1183
原创 Charles 的安装（Windows，Mac，Ios，Android）~详细配置以及不能正常抓包https请求问题~
下载地址：https://www.charlesproxy.com/download/根据自己的电脑型号下载即可~下载好直接 安装即可~Charles 是收费软件 免费适用 30天，过期之后 也能用，不过只有30min 会强制关闭客户端稍后写破解步骤！证书配置Windows：Help --> SSLproxying --> Install Charles Root...
2019-06-22 12:52:43
425
原创 【scrapy】设置【log日志文件】++程序员共成长~~
LoggingScrapy提供了log功能，可以通过 logging 模块使用可以修改配置文件settings.py，任意位置添加下面两行LOG_FILE = "mySpider.log"LOG_LEVEL = "INFO"Scrapy提供5层logging级别:CRITICAL - 严重错误(critical)ERROR - 一般错误(regular errors)WAR...
2019-06-10 15:21:07
400
原创 【Fidder】使用详解以及下载地址app抓包配置~~【新手必看】程序员共成长+++
哈喽，又是那个帅气的我又来啦。今天讲讲 Fiddler的使用方法以及安装配置-download:https://www.telerik.com/download/fiddler下载好直接安装即可工作原理Fiddler是以代理WEB服务器的形式工作的,浏览器与服务器之间通过建立TCP连接以HTTP协议进行通信，浏览器默认通过自己发送HTTP请求到服务器，它使用代理地址:127.0.0...
2019-06-08 18:14:35
1586
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人