python项目之当当网

目录

一、学习资源

二、知识点介绍

1、scrapy介绍

 2、scrapy安装与错误解决

3、scrapy基本使用

4、项目结构和基本方法 

         （1）实例： 

5、架构组成

​ 6、scrapy工作原理

        （2）实例：汽车之家 

三、项目分析

        （1）首先定位到要获取的数据的标签的属性

        （2）获取数据

         （3）检查

                问题①

                原因及解决办法

                问题②

                原因及解决办法

         （4）下载（单个管道）

                        ①先定义数据结构（items程序）

                        ②管道下载

                         ③下载数据到文件中

                 （5）多个管道下载

                                        ①定义管道类

                                         ②在settings中开启管道

              （6）多个管道下载实现

 四、项目源码

---

一、学习资源

尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）_哔哩哔哩_bilibili大家记得一键三连【点赞、投币、收藏】感谢支持~本教程适合想掌握爬虫技术的学习者，以企业主流版本Python 3.7来讲解，内容包括：Python基础、Urllib、解析（xpath、jsonpath、beautiful）、requests、selenium、Scrapy框架等。针对零基础的同学可以从头学起，有Python基础的同学建议直接从第52集开始学习爬虫部分视频。教程中示例多种网站的爬取，https://www.bilibili.com/video/BV1Db4y1m7Ho?p=98&spm_id_from=pageDriver

二、知识点介绍

1、scrapy介绍

 2、scrapy安装与错误解决

3、scrapy基本使用

 

4、项目结构和基本方法 

         （1）实例： 

5、架构组成

 6、scrapy工作原理

        （2）实例：汽车之家 

三、项目分析