爬虫实战（3）| 用scrapy将爬取的猫眼电影信息保存到MongoDB

最新推荐文章于 2021-10-11 07:31:43 发布
最新推荐文章于 2021-10-11 07:31:43 发布
阅读量335 收藏 1
点赞数
分类专栏： 爬虫笔记 文章标签： xpath mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52720197/article/details/115412874
版权
本文是作者学习爬虫的实战分享，使用Scrapy框架抓取猫眼电影数据，并详细介绍了如何将抓取的数据存储到MongoDB数据库中。博客中还提供了相关代码文件dianying.py和pipelines.py，供读者参考学习。
摘要由CSDN通过智能技术生成

大家好，作为一名互联网行业的小白，写博客只是为了巩固自己学习的知识，但由于水平有限，博客中难免会有一些错误出现，有不妥之处恳请各位大佬指点一二！
博客主页：链接: https://blog.csdn.net/weixin_52720197?spm=1018.2118.3001.5343
在这里插入图片描述

dianying.py

import scrapy


class DianyingSpider(scrapy.Spider):
    name = 'dianying'
    allowed_domains = ['maoyan.com']
    start_urls = ['https://maoyan.com/films?showType=3&offset={}'
最低0.47元/天 解锁文章
不太累的码农
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
猫眼电影票房爬取到MySQL中_Scrapy爬取猫眼电影并存入MongoDB数据库
weixin_42468321的博客
02-12 847
之前入门了Scrapy，用Scrapy框架爬取了豆瓣电影TOP250，最近打算学习下scrapy-redis分布式爬虫，学习之前再重新温故下Scrapy，这个总结我缩写了很多内容，很多介绍可以看下我之前写的豆瓣movie实战应用打开CMD输入scrapy startproject maoyanC:.│ scrapy.cfg│└─maoyan│ items.py│ middlewares.py...
爬取猫眼票房保存在MySQL_Scrapy爬取猫眼电影并存入MongoDB数据库
weixin_34779845的博客
01-20 647
之前入门了Scrapy，用Scrapy框架爬取豆瓣TOP250，最近打算学习下scrapy-redis分布式爬虫，学习之前再重新温故下Scrapy，这个总结我缩写了很多内容，很多介绍可以看下我之前写的doubanmovie实战应用打开CMD输入scrapy startproject maoyanimport scrapyclass MaoyanItem(scrapy.Item):# define ...
python urllib 爬取猫眼电影top100 存入mongoDB
qq_24137739的博客
11-27 394
import urllib.request import csv import re import pymongo class MaoyanSpider:     def __init__(self):         self.headers = {"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKi...
豆瓣电影信息Python爬虫存入MongoDB.一分钟1W条数据
01-23
Python关于豆瓣电影信息的爬虫,抓起1w条电影数据只要一分钟左右,
scrapy使用流程 及 爬取猫眼电影排行榜 --存入mysql和mongodb
yutaixin的博客
12-29 470
在shell中创建scrapy项目 scrapy startproject Maoyan 创建爬虫文件maoyan.py cd Maoyan scrapy genspiser maoyan maoyan.com items.py中定义要抓取的数据结构：电影名、主演、上映时间 import scrapy class MaoyanItem(scrapy.Item) #名称+主演...
scrapy框架开发爬虫实战——如何将爬取的信息存入MongoDB
万锦
10-11 425
Windows10 MongoDB安装配置 第一步：下载MongoDB数据库 ，https://www.mongodb.com/download-center/community 第二步：安装MongoDB 等待安装完成。 第三步：启动MonggoDB 打开任务管理器，将MongoDB服务启动。 第四步：验证Mongo是否启动成功 打开命令行，输入Mon...
用Python 爬取猫眼电影数据分析《无名之辈》
12-17
前言 作者： 罗昭成 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 获取猫眼接口数据 作为一个长期宅在家的程序员，对各种抓包简直是信手拈来。在 Chrome 中查看原代码的模式，可以很清晰地看到接口，接口地址即为：http://m.maoyan.com/mmdb/comments/movie/1208282.json?_v_=yes&offset=15 在 Python 中，我们可以很方便地使用 request 来发送网络请求，进
Python之requests+xpath爬取猫眼电影并写入数据库(图文教程)
12-21
文章目录一、pyhton连接mysql数据库二、用xpath抓取有用信息说几个比较容易掉坑的地方一二三效果 一、pyhton连接mysql数据库 我是写了一个py文件来封装一下,然后在爬取猫眼的py文件里直接调用,需要使用到pymysql库, 没有安装这个库的同学要事先安装一下,这里直接上代码 #coding=utf-8 import pymysql class mysqlConn: def get_conn(self, dbname): """提供你要连接的数据库名,并连接数据库""" self.conn = pymysql.connect(
Python3 Scrapy框架学习四：爬取的数据存入MongoDB
Python3 爬虫实战 1:应对特殊字体,爬取猫眼电影实时排行榜
10-07 3263
1. 新建一个scrapy项目： 2.使用PyCharm打开该项目 3.在settings.py文件中添加如下代码： #模拟浏览器，应对反爬 USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.3...
python正则表达式入门_python正则表达式简单爬虫入门+案例（爬取猫眼电影TOP榜）...
weixin_39915308的博客
11-23 138
用正则表达式实现一个简单的小爬虫常用方法介绍1、导入工具包import requests#导入请求模块from flask import json#导入json模块from requests.exceptions import RequestException#异常捕捉模块import re#导入正则模块from multiprocessing import Pool#导入进程模块2、获取页面re...
Python爬虫日记02-数据可视化
weixin_44445168的博客
05-13 692
PYTHON爬虫日记02-数据可视化 记录自己的学习爬虫日记 1.环境准备 linux 环境python3.6+ （这里网上的教程很多，这里选择一个比较有效的在Linux上安装Python3)） linux nginx环境 （选择自己喜欢的版本 https://nginx.org/download/） linux gunicorn （pip 下载） pycharm 本地项目调试 数据准备 页面展示的数据为猫眼top100，已经在上一篇博客实现有兴趣的可以跳转 2.思路 1.准备好爬虫的数据 上一步已经将数据
Scrapy设置随机请求头爬取猫眼电影TOP100并用xpath解析数据后存入MongoDB
我的ID是局长大人的博客
02-17 792
Scrapy设置随机请求头爬取猫眼电影TOP100并用xpath解析数据后存入MongoDB。 **1、**首先我们先创建一个scrapy项目，运行CMD后按下图所示进行创建： 在爬虫过程中，我们常常会使用各种各样的伪装来降低被目标网站反爬的概率，其中随机更换User-Agent就是一种手段。当我们的scrapy项目创建完成并执行爬虫程序时，首先会先读取setting文件的配置，而在框架机制里又存...
Python scrapy实践应用，爬取电影网站的影片资源并存入数据库
黄勇的博客
01-26 7534
知识点 scrapy 分页爬取。 scrapy提取页面元素之xpath表达式语法 scrapy 配合pymysql保存爬取到的数据到mysql数据库 scrapy.Request（……）向回调方法传递额外数据 数据库存储前先查重 本文为前文：Python scrapy使用入门，爬取拉勾网上万条职位信息 基础之上的拓展实战，没有看过前文的可以先去看看。对于之
腾讯视频 Python 爬虫项目实战 ！
Pythoncxy的博客
06-21 1861
做了一些小项目，用的技术和技巧会比较散比较杂，写一个小品文记录一下，帮助熟悉。 需求：经常在腾讯视频上看电影，在影片库里有一个"豆瓣好评"板块。我一般会在这个条目下面挑电影。但是电影很多，又缺乏索引，只能不停地往下来，让js加载更多的条目。然而前面的看完了，每次找新的片就要拉很久。所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中，方便选片。 项目地址：https://github.com...
Scrapy框架系列--数据不保存，就是耍流氓（3）
lsxxx2011的专栏
12-15 356
目录前言ItemsPipelines瞎比比前言OK，通过签名两篇文章《爬虫利器初体验（1）》《听说你的爬虫又被封了？（2）》，我们初体验也过了，爬虫代码健壮性也升级为 P...
爬取豆瓣电影信息，再将豆瓣信息写入csv文件和mongodb数据库，再进行数据分析
weixin_42304193的博客
05-16 3233
爬取豆瓣电影信息 分析网站 首先我们先进入到电影网站首页https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0 但是这不是我所要的网址，我想要获得电影信息的网址，按f12看到动态网页代码， 我进行网页分...
python爬虫分布图_13天搞定Python分布爬虫！成为炙手可热的爬虫工程师
weixin_39927059的博客
12-03 281
原标题：13天搞定Python分布爬虫！成为炙手可热的爬虫工程师1、什么是爬虫？网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么爬虫就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据。 比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。2、爬虫有什么作用？通...
python正则表达式爬虫例子-python正则表达式简单爬虫入门+案例（爬取猫眼电影TOP榜）...
weixin_39949413的博客
11-11 211
用正则表达式实现一个简单的小爬虫常用方法介绍1、导入工具包import requests#导入请求模块from flask import json#导入json模块from requests.exceptions import RequestException#异常捕捉模块import re#导入正则模块from multiprocessing import Pool#导入进程模块2、获取页面re...
python期末设计作品_期末作品检查
weixin_39938312的博客
12-17 1672
个人总结本学期第一次接触web前端开发技术，以前完全没有接触过Python+Flask+MysqL这些工具和技术，对这些技术比较陌生，上手也表较慢。所以在空闲时间会在网上找一些关于这些技术的资料来了解并熟悉它要如何搭建。了解到要运用到HTML，CSS、Javascript的一些基础。听说前端开发是个非常新的职业，对一些规范和最佳实践的研究都处于探索阶段。总有新的灵感和技术不时闪现出来，例如CSS ...
如何使用scrapy爬取猫眼电影最受期待榜前20并保存到csv文件中
最新发布
05-18
首先需要安装scrapy，可以使用以下命令进行安装： ``` pip install scrapy ``` 然后创建一个新的scrapy项目和一个爬虫： ``` scrapy startproject maoyan cd maoyan scrapy genspider maoyan_spider maoyan.com ``` 接下来，打开 `maoyan_spider.py` 文件，在 `start_urls` 列表中添加猫眼电影最受期待榜的链接： ```python start_urls = ['https://maoyan.com/films?showType=3'] ``` 然后在 `parse` 方法中编写爬取逻辑： ```python def parse(self, response): movies = response.xpath('//div[@class="movie-item film-channel"]')[:20] for movie in movies: title = movie.xpath('./a/@title').extract_first().strip() release_time = movie.xpath('./div[2]/text()').extract_first().strip() yield {'title': title, 'release_time': release_time} ``` 上面的代码使用 `xpath` 提取了每个电影的标题和上映时间，并使用 `yield` 将结果返回。注意，我们只提取前20个电影。 最后，可以使用以下命令运行爬虫并将结果保存到 `movies.csv` 文件中： ``` scrapy crawl maoyan_spider -o movies.csv ``` 完整的爬虫代码如下： ```python import scrapy class MaoyanSpiderSpider(scrapy.Spider): name = 'maoyan_spider' allowed_domains = ['maoyan.com'] start_urls = ['https://maoyan.com/films?showType=3'] def parse(self, response): movies = response.xpath('//div[@class="movie-item film-channel"]')[:20] for movie in movies: title = movie.xpath('./a/@title').extract_first().strip() release_time = movie.xpath('./div[2]/text()').extract_first().strip() yield {'title': title, 'release_time': release_time} ``` 希望能够帮助到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值