- 博客(4)
- 收藏
- 关注
原创 MongoDB 爬虫的贴心小棉袄
MongoDB 安装使用MongoDB 简介MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。它的最大特点是:特别适合存储大量的无结构、无规则的数据单表实现存储PB级别的数据,但读写效率仍然不输MySQL它的限制:不支持SQL、不支持连表查询、不支持事务不支持高度优化的查询方式MongoDB 为什么特别适合爬虫爬虫爬取大量数据爬虫主要是写的场景,大量数据抓取之后储存下来爬虫抓取的数据规则和结构是随机所以
2020-06-21 17:21:16
263
原创 Virtualenv 搭建 Py项目运行环境
Virtualenv 搭建 Py项目运行环境❝点赞再看,养成习惯,微信搜索【锐门玩道】关注这个用户。本文 「锐门玩道」 已收录❞小朋友你可能有很多问号~,上一小节不是已经一顿操作猛如虎搭建好 Python + PyCharm 可用开发环境了吗?为什么这节又来个项目运行环境?作者你是不是想搞事情...Virtualenv 简介淡定,事情是这样(试图狡辩):首先 「Virtualenv」 是用于创建隔离的Python环境的工具。那为什么需要隔离 不同项目的 Python 环境呢由于
2020-06-21 17:15:21
492
原创 Python3开发环境搭建简明教程
Python3开发环境搭建简明教程 「锐玩道」原文链接 Python 环境安装剁手得很决绝的618今天那就来份平平无奇的教程吧(作为系列的开篇)下载 Python 安装包进入python 官网,在Downloads(下载)下面,点击 Window 进入下载列表页这里我们看到两个大类:Stable Releases 稳定版本:经过测试和使用迭代,bug较少。可用于工作学习Pre-releases 预发布版本:正在测试,较容易出现异常。但包含新版本语言特性/功能/语法,适合学习/
2020-06-18 09:50:07
399
原创 爬虫合法性讨论
据说互联网上 50%以上的流量都是爬虫创造的,也许你看到很多热门数据都是爬虫所创造的,所以可以说无爬虫就无互联网的繁荣。然而在繁荣的表象背后,也往往暗藏杀机 —— 2019年末「 程序员因写爬虫而被刑侦 」的新闻消息甚嚣尘上: 大量数据公司被抓,几十家被列入调查名单 51信用卡被查 祸起爬虫抓取数据被某银行举报? 爬虫程序抓取,或构成侵权 ...引起了 爬虫合法性 的广泛讨论,而这也是所有爬虫爱好者、从业者必须了解的问题什么是爬虫:网络爬虫是...
2020-06-15 08:26:18
2922
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人