- 博客(8)
- 收藏
- 关注
RSS订阅原创 MongoDB的最新安装方法
介绍：Mongondb是由C++编写的，是一种基于分布式存储的开源数据库系统，是NoSql数据库的一种，数据结构由键值对组成。1.下载方法：mongodb下载网址：MongoDB Community Download | MongoDBhttps://www.mongodb.com/try/download/community?tck=docs_server点击进入mongodb的网址，由于mongodb有社区版和企业版，社区版是免费的。适合刚接触mongodb的小白和非企业人员使用。（1.
2022-04-29 14:27:19
2465
1
原创 下载中间件之User-Agant的使用
首先大家要知道什么是中间件，中间件的作用是什么，中间件在哪。scrapy框架中间件有两种：下载中间件，爬虫中间件。中间件（middewares）：中间件是用来存放各种中间件的文件，比如User-Agant，ip代理等重要组件。中间件的作用：中间件用来处理请求失败所要面临的问题，比如解决UA被封禁，IP被服务器列入黑名单，从而导致无法爬取。简单来说就是处理反爬的一些手段。中间件的位置：一般存放在爬虫目录的下方，如下图：中间件的使用方法（介绍常用的两种方法）：第一种：利用随机函数获取
2022-04-22 13:47:23
470
原创 Scrapy框架之Crawlspider的使用
Scrapy存在多种爬虫类，最常用的有两种：第一种是基于basic模版创建的普通爬虫类Scrapy.spider。另一种是基于crawl的规则性爬虫类scrapy.spider.crawlspider。一，crawlspider：经常用于数据在同一个页面上进行采集的情况下。二，spider：适用于多个页面的采集。crawlspider原理图如下：创建crawlspider爬虫项目：crawlspider爬虫和普通爬虫创建项目大致相同，只是在创建爬虫时不同，普通爬虫使用Scrapy
2022-04-21 16:06:16
1214
原创 Scrapy入门第一课
1.Scrapy的介绍Scrapy是一个基于Twisted的多功能爬虫框架，是Python中最流行的爬虫框架，结构清晰，思路明确，功能齐全，简单易懂。整个框架由五部分组成，分别是Engine（引擎），Scheduler（调度器），Spider（爬虫），Downloader（下载器），ltem Pipeline(项目管道)。以下是Scrapy的具体刘流行图：2.Scrapy的开发流程很多小伙伴都觉得Scrapy开发复杂，搞不懂先干什么后干什么，接下来某人就带领大家一起探讨Scrapy的开发
2022-04-17 08:19:12
158
1
原创 Scrapy的基本使用
Scrapy的介绍Scrapy包含了爬虫的所有的单元，并且提供了很多有用的中间插件，可以自由控制，便捷使用，Scrapy框架流行图如下：下面对最主要的组件进行介绍：Scrapy Engine （引擎）：负责所有的组件数据传递。 Scheduler （调度器）：负责接收引擎发送的请求并排入队列，当引擎请求时，在传递给引擎。 Downloader （下载器）：接收引擎传递的请求并下载页面数据，然后将其获取到的响应 传递给引擎，由引擎传递给spider进行处理。 Spider (爬虫) ：用
2022-04-13 14:47:55
408
1
原创 如何在windows系统中下载Scrapy框架
Scrapy简介Scrapy是目前最主流的爬虫框架之一，是一个高级，快速，稳定的python框架。经常用于数据爬取，数据保存，数据监测等。除了Scrapy框架还有Crawley框架，Portia框架，newspaper框架等深受广大爬虫工程师们的喜爱。基于Windows下Scrapy的安装以下基于cmd窗口下pip命令进行安装1.pip命令安装pip命令一般是python自行安装的，只要安装了python pip就会自动安装。如果自己系统中的pip不是最新版，可以通过以下命令进.
2022-04-12 21:27:13
2349
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人