scrapy百度POI爬虫实战项目代码(一)

#需要进行IP池即ip代理、因为百度地址请求会封ip，否则只能每天得到23万条
#此版本没有进行ip代理实现、因为要掏钱(你懂得)、想要实现生产环境自己进行ip代理的购买兼容进来、就可以实现源源不断的百度关键词地址信息返回
run.py 位置根settings.py同级别-----------------------------------
from scrapy.cmdline import execute
import sys
import os
# 获取当前脚本路径
dirpath = os.path.dirname(os.path.abspath(__file__))
print(dirpath)
# 添加环境变量
sys.path.append(dirpath)
# 启动爬虫,第三个参数为爬虫name
execute(['scrapy','crawl','mapbar'])