数据抓取
gu_zhi
这个作者很懒,什么都没留下…
展开
-
python利用danmu实时获取斗鱼等直播网站字幕
danmu 是一个开源的直播平台弹幕接口 用python pip install danmu # -*- coding: utf-8 -*- import time, sys from danmu import DanMuClient import pymongo client = pymongo.MongoClient(host='localhost', port=2...原创 2019-01-17 15:03:56 · 1814 阅读 · 3 评论 -
scrapy加socks代理
scrapy middlewares: from txsocksx.http import SOCKS5Agent from twisted.internet import reactor from twisted.internet.endpoints import TCP4ClientEndpoint from scrapy.core.downloader.webclient import _...原创 2019-02-27 19:32:12 · 4610 阅读 · 1 评论 -
Scrapy邮件发送功能及爬虫停止信息
Spider中编写如下: from scrapy.mail import MailSender from scrapy.xlib.pydispatch import dispatcher from scrapy import signals 在class类的上方编写emial的链接配置信息: mailers= MailSender(smtphost="smtp.qq.com", # ...转载 2019-03-19 16:41:22 · 1319 阅读 · 2 评论