scrapy项目的创建并抓取数据保存到mongo数据库

最新推荐文章于 2024-07-04 10:46:51 发布
最新推荐文章于 2024-07-04 10:46:51 发布
阅读量436 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44251004/article/details/92812698
版权
本文介绍了如何使用Scrapy框架创建一个爬虫项目，从初始化项目到编写爬虫文件、设置字段、处理数据保存到MongoDB数据库的详细步骤。通过分析网页内容，提取所需数据，并在settings.py中配置相关参数，确保爬虫正常运行并数据成功入库。
摘要由CSDN通过智能技术生成

1、创建项目

scrapy startproject 项目名称

如图所示，我是在d:\code\scrapy目录下创建的shanbei项目

这就是创建完成的项目，结构是这样的

2、初始化一个爬虫

先把目录切换到刚刚创建的项目，然后输入scrapy genspider 爬虫名称 "爬取的网站"

可以看到，第一个错误提示我们，爬虫名称不能和项目的名称重复，把名称改了之后，创建成功了。

特别提醒一下，如果输入的网站带有Http,那生成的时候会有两个http，需要注意删除

爬虫文件创建成功之后是这样的

最低0.47元/天 解锁文章
李嘉豪554
关注
scrapy项目创建
qq_23246143的博客
10-22 1271
scrapy scrapy1 scrapy2 scrapy3 scrapy4 scrapy5 scrapy6
Python-Scrapy创建第一个项目
xiaomaow的博客
11-08 9014
创建项目在开始爬取之前，您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令：scrapy startproject tutorial该命令行将会创建包含下列内容的tutorial目录：tutorial/ scrapy.cfg tutorial/ __init__.py items.py pipelines.py
Scrapy框架的基本使用教程
最新发布
Markble
07-04 395
scrapy genspider 爬虫程序的名称 要爬取网站的域名。在game_4399.py文件中编写爬虫代码，代码如下。在终端输入命令，就可以看到爬虫程序运行结果。scrapy crawl 爬虫程序名称。
scrapy创建一个新项目
Time_xiaoxia的博客
09-23 181
1、创建一个新项目 scrapy startproject 项目名 2、确定需要爬取的数据（目标字段） 在项目所在的同名文件夹下，打开items.py文件开始创建目标字段 class WorkDetail(scrapy.Item): # 岗位名称 workname = scrapy.Field() # 岗位人数 worknum = scrapy.Field() # 岗位职责 workdetail = scrapy.Field() 3、创建爬虫程序 scr
Scrapy框架-创建项目
Lyajpunov的博客
01-29 1508
Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架。scrapy 是异步的，采取可读性更强的 xpath 代替正则。可以同时在不同的 url 上爬行，支持 shell 方式，方便独立调试。但是不支持分布式。 一、安装scrapy pip install Scrapy 官网并不推荐这样安装，官网推荐先安装Anaconda或Miniconda并使用来自 conda-forge频道的软件包 conda install -c conda-forge scrapy 实测时我们发现我们需要
Scrapy第三(②)篇：创建scrapy项目
Good Luck
08-14 4362
修改Anaconda镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes此时在C:\Users\Administrator（这里是电脑用户名）下就会生成配置文件.condarcchannels: - https://mirrors.tuna.tsinghua.edu.cn/anaco。...
zreadingSpider:本项目使用scrapy抓取www.zreading.cn的所有文章信息。 并将所有数据保存到本地 mongo db
06-14
并将所有数据保存到本地 mongo db 中。 这个项目是一个eclipse pyDev项目。 它使用高效蜘蛛Scrapy（ 从提取所有文章信息文章标题、链接、post_date、子类别、标签和阅读信息。 并且所有详细数据都保存到本地 mongo...
python scrapy爬虫+存储到mysql和mongo数据库中
12-08
总的来说，结合Python Scrapy爬虫框架和MySQL或MongoDB数据库，我们可以构建一个完整的数据抓取和存储系统。这样的系统不仅能够高效地爬取网页，还能将数据有效地存储到关系型或非关系型数据库中，以供进一步分析和...
scrapy自定义pipeline类实现将采集数据保存到mongodb的方法
09-10
本篇文章将详细介绍如何自定义一个 Scrapy Pipeline 类，将采集到的数据保存到 MongoDB 数据库。 首先，我们需要导入所需的库，包括标准的 Python 库和第三方模块 `pymongo`，这是 Python 操作 MongoDB 的驱动。...
以北京大黄瓜为例，手把手教你使用scrapy抓取数据并存入MongoDB！
qq_36807888的博客
09-13 339
第一次对scrapy做了简单的了解并且使用scrapy实战爬取了B站单页小姐姐视频信息。详情如下： Scrapy爬取B站小姐姐入门教程，结果万万没想到！ 第二次使用scrapy翻页爬取了糗事百科13页的段子信息 Scrapy翻页爬取糗事百科所有段子后，我总结出的... 目标获取 今天我们使用scrapy爬取北京瓜果蔬菜单价并将其存入数据库MongoDB 网站首页如下图： 我们要获取的目标有瓜果蔬菜的 名称、最低价、最高价、均价、产地还有价格发布时间等
『scrapy爬虫』01. 安装环境创建示例项目（保姆级图文）
MZH
03-13 2267
『scrapy爬虫』01. 安装环境创建示例项目（保姆级图文）
怎样创建scrapy项目
google_SEO_yang的博客
04-27 2313
先安装scrapy框架，网上教程很复杂，我只输入pip3 install scrapy就成功安装了。 到pycharm里的设置里把默认的powershell改成cmd.exe 点击pycharm底部的终端： 把想把项目放入的文件夹的路径复制下来，终端里面输入cd，空格，粘贴复制的路径，点回车。 再输入 scrapy startproject firstproject，项目名称就是firstproject。 就可以在文件夹里看到创建好的.
创建scrapy项目
weixin_42761571的博客
04-18 162
模块名 职责 是否需要实现 Scrapy Engine（引擎） 总指挥： 负债数据和信号在不同的模块之间传递 scrapy 已经实现 Scheduler（调度器） 一个队列，存放引擎发过来的request请求 scrapy 已经实现 Downloader（下载器） 下载引擎发送过来的request请求，并返回给引擎(response) scrapy 已经实现 Spiders（爬虫） 处理引擎发送过来的response，提取数据和url，并交给引擎 需要手写 Item Pip...
python—scrapy项目的创建
HENG302926的博客
03-17 4539
打开pycharm 用cd切换到要创建爬虫项目的文件夹 然后创建项目 scrapy startproject <项目名> 这样显示就创建成功了 然后切到项目里 创建爬虫文件 我们拿百度举例 scrapy genspider baidu baidu.com 这样就建好了 就可以在这个py文件写爬虫代码 还需要注意的是 在setting文件里要修改这个协议 还有 打开这几行命令...
新建一个scrapy项目
小人物大梦想
02-19 389
这里假设已经安装好scrapy,本博客也有教程  1.命令行创建项目 scrapy startproject test_scrpay 2.进入项目在项目spider目录下命令行新建一个爬虫器 scrapy genspider test_spider movie.douban.com 在spider目录下就会生成一个test_scrapy.py文件 内容 # -*- codin...
scrapy介绍，并创建第一个项目
cristianoxm的博客
12-01 1221
scrapy
创建一个 scrapy 爬虫项目
YKenan的博客
05-17 1828
创建一个 scrapy 爬虫项目1. 下载2. 创建一个新项目3. 生成一个爬虫4. 运行5. 修改日志水平和返回的内容 1. 下载 进入 cmd 中运行下面的语句 pip3 install scrapy 2. 创建一个新项目 scrapy startproject mySpider 进入项目路径 cd mySpider 用 IDEA 打开 3. 生成一个爬虫 到项目目录下运行下面的语句 scrapy genspider 项目名 域名 scrapy genspider csdn bl
python3 + Scrapy爬虫学习之创建项目
s_kangkang_A的博客
04-09 6576
最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤 pycharm是无法创建一个scrapy项目的 因此，我们需要用命令行的方法新建一个scrapy项目 请确保已经安装了scrapy，twisted，pypiwin32 一：进入你所需要的路径，这个路径存储你创建的项目 我的将放在E盘的Scrapy目录下 二：创建项目：scrapy ...
PyCharm中创建Scrapy项目踩坑指南
总结，创建Scrapy项目需要正确配置环境，安装必要的库，并通过命令行初始化项目。虽然PyCharm不直接支持Scrapy项目创建，但通过合理设置，依然能提供强大的开发辅助。在遇到问题时，查阅官方文档、社区讨论和教程都...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值