python3+scrapy 趣头条爬虫实例

最新推荐文章于 2024-03-13 09:53:04 发布
VIP文章 最新推荐文章于 2024-03-13 09:53:04 发布
阅读量1.3w 收藏 39
点赞数 2
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fonyer/article/details/79330249
版权

项目简介

爬取趣头条新闻（http://home.qutoutiao.net/pages/home.html），具体内容：
1、列表页（json）：标题，简介、封面图、来源、发布时间
2、详情页（html）：详细内容和图片

目录结构

生成的数据文件-单条记录


主要代码说明

爬虫：
#爬取趣头条列表和详情页
qutoutiao.spiders.qutoutiaos.QutoutiaosSpider
管道文件：
#封面图片处理类
qutoutiao.imagepipelines.CoverImagePipeline
#内容图片处理类
qutoutiao.imagepipelines.ContentImagePipeline
#数据处理类
qutoutiao.pipelines.QutoutiaoPipeline
中间件：
#请求头设置类-这里只设置了user agent
qutoutiao.middlewares.RandomUserAgent
#代理设置类

qutoutiao.middlewares.RandomProxy

自定义：
#配置文件
qutoutiao.qttconfig.py  
#工具类
qutoutiao.qttutils.QttUtils

创建项目

cd /home/chaoge/mypython/crawler/

scrapy startproject qutoutiao

创建爬虫类即(qutoutiao.spiders.qutoutiaos.QutoutiaosSpider)

cd qutoutiao/ qutoutiao/spiders
scrapy genspider qutoutiaos "api.1sapp.com"

执行

      scrapy crawl qutoutiaos

      #scrapy crawl qutoutiaos --nolog#不显示log

#scrapy crawl qutoutiaos -o qutoutiaos_log.json #将log输出到qutoutiaos_log.json

代码实现

qutoutiao.qttconfig.py   
# 爬取域名（趣头条）
DOMAIN = 'http://home.qutoutiao.net/pages/home.html'

#数据存储路径
DATA_STORE = '/home/chaoge/mypython/crawler/qutoutiao/data'

#列表：http://api.1sapp.com/content/outList?cid=255&tn=1&page=1&limit=10
#列表API
LIST_API = 'http://api.1sapp.com/content/outList?'
#列表记录数
LIST_LIMIT = 10
#分类
CATEGORY_INFO = [
	{"cid":255,"name":"推荐"},
最低0.47元/天 解锁文章
fonyer
关注
  • 2
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
pythonscrapy爬虫实例Python爬虫Scrapy实例
02-04
pythonscrapy爬虫实例Python爬虫Scrapy实例
python+scrapy/urllib等爬虫示例
03-30
该压缩包内包含python环境下的scrapy等爬虫实例（豆瓣/腾讯等网址爬取）。Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
『scrapy爬虫』02.实战豆瓣小例子（保姆级图文）
最新发布
MZH
03-13 1004
『scrapy爬虫』02.实战豆瓣小例子（保姆级图文）
Python，Scrapy 爬虫框架，简单入手的案例（适合初学者阶段入手的案例）
m0_69938575的博客
07-22 3094
Python，Scrapy爬虫框架，简单入手的案例（适合新手）
python爬虫基础小案例， scrapy框架，思路和经验你全都有。
m0_65833575的博客
04-26 9792
目录 一、scrapy介绍 二、爬取步骤 三、代码 1、创建爬虫项目 scrapy startproject 项目名字 注意: 项目名字不能出现中文，也不能以数字开头。 2、创建爬虫文件 3.进入itmes.py 4.进入spiders 5.进入pipelines.py 四、运行scrapy 文件 一、scrapy介绍 简单介绍一下scrapy吧。 Scra...
Python爬虫进阶：Scrapy框架教程
10-24
Python爬虫进阶教程掌握了python爬虫基本理论和操作，本课程主要以讲授Scarpy框架来实现python爬虫进阶该课程主要分享Python爬虫框架Scarpy的安装、使用、selector选择器的使用spider的使用、itempipeline的使用、scrapy爬虫框架案例实战。
爬虫基础09B—scrapy爬虫
m0_55196097的博客
02-12 5354
scrapy爬虫： 1）创建scrapy项目 terminal下输入：scrapy startproject tutorial 切换目录： cd tutorial 执行上述命令后，自动的创建了scrapy项目 生成了项目目录-tutorial scrapy.cfg 部署的配置文件 tutorial/ __init__.py 初......
爬虫scrapy
CSDN_Xying的博客
10-21 2083
启动scrapy框架
爬虫---scrapy爬虫框架（详细+实战）
lihaian的博客
08-01 2万+
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。...
scrapy爬虫框架
m0_64336780的博客
09-24 1万+
Scrapy 是一个用于抓取网站和提取结构化数据的应用程序框架，可 用于各种有用的应用程序，如数据挖掘、信息处理或历史存档。 尽管 Scrapy 最初是为网络抓取而设计的，但它也可用于使用 API提取数据或用作通用网络爬虫。
python爬虫用scrapy获取影片的实例分析
01-19
那么，一些好看的影片如果不去电影院的话，在其他地方看都会有大大小小的限制，今天小编就教大家用python中的scrapy获取影片的办法吧。 1. 创建项目 运行命令: scrapy startproject myfrist（your_project_name） ...
python爬虫库scrapy简单使用实例详解
09-17
主要介绍了python爬虫库scrapy简单使用实例详解,需要的朋友可以参考下
Python爬虫—scrapy框架配置及实用案例
京茶吉鹿的博客
07-04 1156
python爬虫——scrapy框架配置及实用案例，如何创建scrapy项目，爬取当当网图书信息，爬取电影天堂信息
Scrapy安装及使用
weixin_30951231的博客
07-22 189
本文介绍了常见的网络爬虫工具*Scrapy的安装及使用过程*，另外介绍了Scrapy运行时常见问题以及相应解决办法，希望能对您的学习带来帮助。 Scrapy简介 Scrapy是一个快速高级屏幕抓取和爬行网页的框架，用来抓取的网站，从网页中抽取结构化的数据。它可以用于广泛的用途，从数据挖掘到监控和自动化测试。 官方主页： http://www.scrapy.org/ ...
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 18万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
scrapy爬虫使用示例
快乐江小鱼的博客
06-06 923
scrapy爬虫的几个使用示例
Scrapy框架爬虫案例
weixin_46999938的博客
05-13 3373
@toc 1 什么是Scrapy Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 2 Scrapy架构 Scrapy Engine(引擎) 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器) 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当
Python3网络爬虫(五)：Python3安装Scrapy
Jack-Cui
03-03 8万+
运行平台：Windows Python版本：Python3.x IDE：Sublime text3
python爬虫框架scrapy实例
06-28
### 回答1： 好的，下面是一个Python爬虫框架Scrapy的实例，包括如何定义爬虫和使用Scrapy框架中的其他功能。 首先，您需要安装Scrapy。您可以使用以下命令在命令行中安装Scrapy： ``` pip install scrapy ``` 安装完成后，您可以开始编写您的第一个Scrapy爬虫。在这个例子中，我们将使用Scrapy爬取网站https://quotes.toscrape.com/，并提取每个名人名言中的文本和作者。 1. 创建项目 在命令行中，创建一个新的Scrapy项目： ``` scrapy startproject quotes_spider ``` 这将创建一个名为“quotes_spider”的新目录，并在其中生成一些默认文件。 2. 定义爬虫 接下来，我们需要定义一个Scrapy爬虫。在项目目录下的“spiders”文件夹中，创建一个新的Python文件，名为“quotes_spider.py”。在该文件中，定义一个名为“QuotesSpider”的类，继承自“scrapy.Spider”类。 ```python import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('span small::text').get(), } next_page = response.css('li.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 在上述代码中，我们首先定义了“QuotesSpider”类的名称和起始URL。在“parse”方法中，我们使用“response.css”方法来选择页面中所有名言的HTML元素，并使用“yield”语句返回文本和作者。 然后，我们在“next_page”变量中选择下一页的URL，如果有下一页，我们将使用“response.follow”方法继续爬取该页。这将递归地调用“parse”方法，直到没有更多的页面可供爬取。 3. 运行爬虫 现在，我们已经定义了一个Scrapy爬虫，我们可以在命令行中使用以下命令来运行它： ``` scrapy crawl quotes ``` 这将启动名为“quotes”的爬虫，并开始爬取https://quotes.toscrape.com/网站。当爬虫完成时，它将输出爬取的数据。 这是一个简单的Scrapy实例，演示了如何定义一个爬虫并使用Scrapy框架中的其他功能。Scrapy提供了许多其他功能，例如数据存储、中间件、管道等。使用这些功能，您可以轻松地扩展您的爬虫并实现更高级的功能。 ### 回答2： Scrapy是一个优秀的Python爬虫框架，可以帮助开发者轻松地开发出高效、稳定的爬虫程序。在这里，我们将介绍一个使用Scrapy框架的爬虫实例。 这个爬虫程序的目标是从豆瓣电影网站上爬取电影的信息。我们的目标是抓取电影的名称、评分、主演、评论等信息，并输出到一个CSV文件中。 首先，在Scrapy框架中，我们需要先创建一个新的项目。使用命令行工具进入要存放项目的目录下，输入以下命令： scrapy startproject douban_movie 这个命令会创建一个名为“douban_movie”的Scrapy项目。 接下来，在项目的根目录下创建一个新的spider，使用以下命令： scrapy genspider movie_spider "movie.douban.com" 这个命令会在项目的spiders目录中创建一个名为“movie_spider”的爬虫。我们将使用这个爬虫来抓取豆瓣电影网站上的信息。 在开始编写代码之前，需要先在settings.py中设置一些参数，例如我们需要启用cookies和user-agent抓取，可以将这些设置写到settings.py文件中。例如： USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0' COOKIES_ENABLED = True DOWNLOAD_DELAY = 3 接下来，根据需求编写爬虫的代码。我们的爬虫将通过requests发出请求，然后使用beautifulsoup解析网页，最后使用item处理数据。具体代码如下： import scrapy from scrapy.http import Request from bs4 import BeautifulSoup from douban_movie.items import DoubanMovieItem class DoubanMovieSpider(scrapy.Spider): name = 'douban_movie' start_urls = ['https://movie.douban.com/top250'] def parse(self, response): soup = BeautifulSoup(response.text, 'html.parser') movie_list = soup.find_all('div', {'class': 'item'}) for movie in movie_list: item = DoubanMovieItem() item['name'] = movie.find('span', {'class': 'title'}).text item['score'] = movie.find('span', {'class': 'rating_num'}).text item['actors'] = movie.find('p', {'class': ''}).text item['comments'] = movie.find('span', {'class': 'inq'}).text yield item next_page = soup.find('span', {'class': 'next'}).find('a') if next_page: next_page_url = 'https://movie.douban.com/top250' + next_page['href'] yield Request(next_page_url, callback=self.parse) 最后，将数据输出到一个CSV文件中。我们可以在settings.py中添加以下内容： FEED_FORMAT = 'csv' FEED_URI = 'douban_movie.csv' 这样我们就成功地完成了一个爬虫程序的开发。运行这个爬虫，Scrapy会自动爬取豆瓣电影网站上的电影信息，并将结果输出到douban_movie.csv文件中。 ### 回答3： scrapy是一个为了爬取网站数据而设计的Python爬虫框架。它可以帮助我们自动化地爬取网页数据，并把数据转化为结构化的格式。下面，我将为大家介绍一个Python爬虫框架scrapy的实例。 首先，我们需要安装scrapy框架。可以通过pip install scrapy命令进行安装。安装完成后，我们就可以开始构建我们的爬虫程序了。在scrapy中，我们通过编写spider来实现爬取网站数据的功能。它是整个爬虫程序的核心部分。 在编写spider之前，我们需要对目标网站进行分析，确定我们要抓取的数据位置、获取方式等信息。在本例中，我们选择抓取一个电商网站的商品信息，并保存下来。我们选择的电商网站为京东商城。我们需要确定我们要获取的信息：商品名称、价格、销售数量、评论数、好评率等信息。确定了目标信息后，我们需要查看京东商城的网页源代码，分析出相应的数据位置，以便我们编写spider。 编写spider的过程中，我们需要指定启动的URL地址、爬取页面的解析方法和数据保存方式等。在本例中，我们使用了scrapy自带的Spider模板来快速搭建spider框架： ``` import scrapy class JdSpider(scrapy.Spider): name = "jd" allowed_domains = ["jd.com"] start_urls = ["https://www.jd.com/"] def parse(self, response): pass ``` 在这段代码中，我们定义了一个名为JdSpider的spider类，并设置了其启动的URL地址和解析方法。在解析方法中，我们使用了scrapy自带的Selector模块来选择我们想要抓取的数据。我们需要使用XPath或CSS Selector来进行选择。 下面是我们完成的爬虫程序，实现了从京东商城抓取出相应的商品信息，并保存为CSV格式。 ``` import scrapy import csv class JdSpider(scrapy.Spider): name = "jd" allowed_domains = ["jd.com"] start_urls = ["https://www.jd.com/"] def parse(self, response): for url in response.css('a::attr(href)').extract(): if 'item.jd.com' in url: yield scrapy.Request(url, callback=self.parse_item) def parse_item(self, response): name = response.css('div.sku-name::text').extract_first().strip() price = response.css('span.price::text').extract_first().strip() sale_cnt = response.css('a::text').extract()[1].strip().replace('笔', '') comment_cnt = response.css('a::text').extract()[3].strip().replace('条', '') comment_ratio = response.css('strong.percent::text').extract_first().strip() with open('items.csv', 'a', newline='', encoding='utf-8') as csvfile: writer = csv.writer(csvfile) writer.writerow([name, price, sale_cnt, comment_cnt, comment_ratio]) ``` 在这段代码中，我们使用了scrapy的Request模块来请求指定URL，并通过parse_item方法解析我们想要抓取的数据。我们将数据保存在名为“items.csv”的文件中，使用csv模块完成转换。对于抓取的数据，我们可以使用pandas等数据分析工具进行数据处理与分析。 总之，scrapy是一款十分优秀的Python爬虫框架，能够大大简化我们的数据爬取工作。希望我的回答能够帮助大家对Python爬虫有更深入的了解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值