scrapy
NO23412号菜狗
这个作者很懒,什么都没留下…
展开
-
django中 一些反爬措施
写在前面前段时间想着做一个关于反爬的小活动,目前已经做完了,整理了用到的一些反爬。本文所述代码均已上传至 githubhttps://github.com/yejue/thegame2JS断点JS断点是一个用于debugger的断点语句,在全局设置无限的断点,在爬虫尝试打开开发者工具查看前端源码的时候激活,使得前端页面暂停,有一定的阻挡效果。使用方法:<span style="color:#000000"><code class="language-javascri.原创 2020-12-13 17:01:31 · 688 阅读 · 0 评论 -
scrapy 命令行工具
https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/commands.html原创 2019-11-06 10:44:28 · 93 阅读 · 0 评论 -
scrapy MapCompose 一些操作
from scrapy.loader.processors import MapCompose,Join Join()(['hi','John']) Out[2]: 'hi John'MapCompose(lambda i: i.replace(',', ''),float)(['1...原创 2019-11-05 11:12:56 · 764 阅读 · 0 评论 -
scrapy 爬虫(一)
from scrapy.spiders import Spiderclass BlogSpider(Spider): name="woodenrobot" start_urls=['http://woodenrobot.me'] def parse(self,response): titles=response.xpath('//a[@class="po...原创 2019-11-04 19:01:03 · 78 阅读 · 0 评论