python-scapy爬取mooc网保存在数据库中并下载图片

爬取的步骤

- 确定url地址;
- 获取页面信息;(urllib, requests);
- 解析页面提取需要的数据； (正则表达式， bs4， xpath)
- 保存到本地(csv, json, pymysql, redis);
- 清洗数据(删除不必要的内容 -----正则表达式);
- 分析数据(词云wordcloud + jieba)

有没有用到多线程? -----
获取页面信息每个爬虫都会使用， 重复去写----
设置头部信息 ---- user-agent, proxy…

流程分析:

- 确定url地址:http://www.imooc.com/course/list;(spider)
- 获取页面信息;(urllib, requests); ---(scrapy中我们不要处理)---(Downloader)
- 解析页面提取需要的数据； (正则表达式， bs4， xpath)---: (spider)
    课程链接， 课程的图片url， 课程的名称， 学习人数， 课程描述
- 保存到本地(csv, json, pymysql, redis); ----(pipeline)

环境

- Scrapy 1.6.0

实现步骤：

pip install scrapy # 下载scrapy
scrapy #启动scrapy

scrapy version #查看scrapy版本

具体流程可以详看scrapy介绍

需求：
爬取mooc网：每个课程的名称、学习人数、课程描述、课程连接、课程图片。将这些内容保存为csv格式、json格式、保存在mysql数据库中。并且下载图片（图片名称为课程名称）。

1. 工程创建

scrapy startproject mySpider # mySpider文件名
cd mySpider
tree # 查看树结构要安装pip install tree

├── mySpider
│   ├── __init__.py
│   ├── items.py            # 提取的数据信息
│   ├── middlewares.py      # 中间键
│   ├── pipelines.py        # 管道， 如何存储数据
│   ├── __pycache__
│   ├── settings.py         # 设置信息
│   └── spiders             # 爬虫(解析页面的信息)
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg

用pycharm打开mySpider目录

2. 创建一个爬虫–linux中执行

scrapy  genspider  mooc "www.imooc.com" # 爬的网址
cd mySpider/spiders/
vim mooc.py
#start_url

也可以在pycharm中这个目录mooc.py里编写：

import scrapy

from mySpider.items import CourseItem
class MoocSpider(scrapy.Spider):
    # name: 用于区别爬虫, 必须是唯一的；
    name = 'mooc'
    # 允许爬取的域名；其他网站的页面直接跳过;
    allowed_domains = ['www.imooc.com', 'img3.mukewang.com']
    # 爬虫开启时第一个放入调度器的url地址;
    start_urls = ['http://www.imooc.com/course/list']

    # 被调用时， 每个出世url完成下载后， 返回一个响应对象,
    # 负责将响应的数据分析， 提取需要的数据items以及生成下一步需要处理的url地址请求;
    def parse(self, response):
    	pass

3. 定义爬取的items内容

item.py

import scrapy


class CourseItem(scrapy.Item):
    # Item对象是一个简单容器， 保存爬取到的数据, 类似于字典的操作;
    # 实例化对象: course =  CourseItem()
    # course['title'] = "语文"
    # course['title']
    # course.keys()
    # course.values()
    # course.items()
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 课程链接， 课程的图片url， 课程的名称， 学习人数， 课程描述
    # 课程标题
    title = scrapy.Field()
    # 课程的url地址
    url = scrapy.Field()
    # 课程图片url地址
    image_url = scrapy.Field()
    # 课程的描述
    introduction = scrapy.Field()
    # 学习人数
    student = scrapy.Field()

4. 编写spider代码, 解析

1.完善mooc.py：分析页面内容

import scrapy

from mySpider.items import CourseItem
class MoocSpider(scrapy.Spider):
    # name: 用于区别爬虫, 必须是唯一的；
    name = 'mooc'
    # 允许爬取的域名；其他网站的页面直接跳过;
    allowed_domains = ['www.imooc.com', 'img3.mukewang.com']
    # 爬虫开启时第一个放入调度器的url地址;
    start_urls = ['http://www.imooc.com/course/list']

    # 被调用时， 每个出世url完成下载后， 返回一个响应对象,
    # 负责将响应的数据分析， 提取需要的数据items以及生成下一步需要处理的url地址请求;
    def parse(self, response):
        # 1). 实例化对象， CourseItem
        course = CourseItem()
        # 分析响应的内容
        # scrapy分析页面使用的是xpath语法
        # 2). 获取每个课程的信息: <div class="course-card-container">
        courseDetails = response.xpath('//div[@class="course-card-container"]')
        for courseDetail in courseDetails:
            # 课程的名称：
            # "htmlxxxx"


            # 爬取新的网站， Scrapy里面进行