在pycharm下实现scrapy爬虫，解决NO module named‘‘&Use “scrapy“ to see available commands的问题

在pycharm中利用python实现scrapy爬虫。以例子来记忆最好懂，我也只是把老师写好的步骤自己执行，做出结果。写在这里方便以后自己查看，希望能够对你们有所帮助

目标内容

1.内容：爬取传智播客C/C++讲师的姓名、职称以及个人简介。

2.目标网址：http://www.itcast.cn/channel/teacher.shtml

3.使用scrapy框架实现爬虫，运用xpath解析方式

步骤

1.创建scrapy项目工程

（1）下载scrapy，在file–>setting–>project:(自己的项目名称)–>Python Interpreter点击右边加号，在搜索框中输入scrapy，下载自己需要的版本即可

在pycharm界面中打开view–>Tool Windows–>Terminal(也可以直接在界面的最下面直接点击terminal)输入scrapy检验scrapy是否安装成功

（2）创建scrapy项目工程
在terminal中输入：
startproject + 自定义的项目名称

#scrapy startproject+自定义的项目名称
scrapy startproject ITcast

成功创建项目目录为：

文件说明：

scrapy.cfg
项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）

items.py：设置数据存储模板，用于结构化数据，如：Django的Model

pipelines.py：数据处理行为，如：一般结构化的数据持久化

settings.py：配置文件，如：递归的层数、并发数，延迟下载等

spiders：爬虫目录，如：创建文件，编写爬虫规则

（3）创建写爬虫的文件
#scrapy genspider +名称 + ‘网站’
#建立爬虫文件

scrapy genspider itcast "itcast.cn"

结果为：

2、解析网页

观察网页，通过浏览器得出他们是这样子的结构，并且我们运用强大的xpath解析方式解析

3、编写代码

需要编写四个相关联的文件：itcast.py、items.py、settings.py、pipelines.py (管道文件)

(1) itcast.py

# -*- coding: utf-8
-*-

import scrapy

 #导入容器

from ITcast.items
import  ItcastItem

class
ItcastSpider(