Python Scrapy 入门

1. 准备环境

    Python 、Scrapy、 IDE（Pycharm）

2. 爬取目标分析

    北京七天的天气

     url：http://www.weather.com.cn/weather/101010100.shtml

     需要抓取的字段，

     date（日期） 、weather（天气）、temperature（温度）、windDirection（风向）、windGrade（风级）

3. 目标站点进行测试

scrapy shell http://www.weather.com.cn/weather/101010100.shtml

   

4.创建项目

scrapy startproject Weather

5 创建爬虫bjWeather

cd Weather
scrapy genspider bjWeather www.weather.com.cn