![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
解斯特洛夫
给我一瓶酒,再给我一支烟,说走就走,我有的是时间。
展开
-
爬虫-简单爬取贴吧网页通过mongo-cache存储到数据库中
话不多说,直接上源码,有问题请留言import requestsimport pickleimport zlibfrom datetime import datetime,timedeltafrom pymongo import MongoClientfrom bson.binary import Binaryclass Tieba_Spider(object): def _...原创 2018-12-19 14:10:21 · 148 阅读 · 0 评论 -
爬虫-之反爬,随机代理IP、限流器、伪造用户代理头等
from bs4 import BeautifulSoupimport requestsimport requests# 伪造用户代理头from fake_useragent import UserAgent# 重试下载from retrying import retry# 实现信息摘要算法 md5 shaimport hashlib# 队列import queueimpo...原创 2018-12-20 21:05:26 · 450 阅读 · 0 评论 -
爬虫:通过简单代码实现爬取糗事百科前10页
import requestsclass Qiushi_Spider: def __init__(self): ''' 初始化信息 ''' self.url_base = 'https://www.qiushibaike.com/8hr/page/{}/' self.headers = {'User-Age...原创 2018-12-18 16:13:35 · 365 阅读 · 0 评论 -
Twisted 简介
Twisted是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样,Twisted也具有“内置电池”(batteries-included)的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现,同时附带有基于命令行的工具,使得配置和部署产品...原创 2019-01-17 09:10:09 · 217 阅读 · 0 评论