爬虫
冒_冒
这个作者很懒,什么都没留下…
展开
-
爬虫总结
爬虫总结(一) scrapy… setting.py ROBOTSTXT_OBEY = False , 拒绝接受默认协议 CONCURRENT_REQUESTS = 32 , 开启的线程数量 DOWNLOAD_DELAY = 0 , 等待时间 CONCURRENT_REQUESTS_PER_DOMAIN = 32 , CONCURRENT_REQUESTS_PER_IP = 32 , sc...原创 2018-11-27 17:09:52 · 129 阅读 · 0 评论 -
websocket爬虫
在爬取虚拟货币的交易信息时,为保证数据的及时性,网站通常会使用websocket协议.此时我们的爬虫也需要使用websocket来处理这类问题. websocket的优点是在于: 1.可以节省每次请求的headers,一次请求可以节省几十个字节; 2.服务器可以自主向客户端传递数据,不用像传统的轮询的方式一样. 爬取neotracker的货币的数据并存入数据库 import websocket...原创 2018-12-24 16:51:58 · 806 阅读 · 0 评论