- 博客(5)
- 收藏
- 关注
原创 2020-02-20(scrapy框架相关)
1.请求传参(item): 应用场景:解析的数据不在同一张页面中 Request(callback,meta={})2.LOG_LEVEL LOG_FILE3.下载中间件: 批量拦截请求(代理ip和UA)和响应(处理页面数据)4.如何在scrapy使用selenium1.在spider的init方法中实例化一个浏览器对象2.在spider的closed方法中关闭浏览器...
2020-02-20 12:16:30
171
原创 2020-01-19
1.os模块定制了很多方法 间接的帮助你去调用操作系统的命令 获得结果然后帮助你分析整理成我们需要的数据类型的形态你也可以os.popen/os.system直接取调用操作系统的命令 获得结果但是 分析和整理的工作需要你自己做用os模块的方法本身能够完成的功能我们就用定制好的方法就够了如果有一天 你发现os模块定制好的功能解决不了我们的问题了而刚好操作系统的命令能够很好地帮助我们解决...
2020-01-20 09:24:36
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人