- 博客(5)
- 收藏
- 关注
原创 2020-02-20(scrapy框架相关)
1.请求传参(item): 应用场景:解析的数据不在同一张页面中 Request(callback,meta={}) 2.LOG_LEVEL LOG_FILE 3.下载中间件: 批量拦截请求(代理ip和UA)和响应(处理页面数据) 4.如何在scrapy使用selenium 1.在spider的init方法中实例化一个浏览器对象 2.在spider的closed方法中关闭浏览器...
2020-02-20 12:16:30 176
原创 2020-01-19
1.os模块 定制了很多方法 间接的帮助你去调用操作系统的命令 获得结果 然后帮助你分析整理成我们需要的数据类型的形态 你也可以os.popen/os.system直接取调用操作系统的命令 获得结果 但是 分析和整理的工作需要你自己做 用os模块的方法本身能够完成的功能我们就用定制好的方法就够了 如果有一天 你发现os模块定制好的功能解决不了我们的问题了 而刚好操作系统的命令能够很好地帮助我们解决...
2020-01-20 09:24:36 281
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人