Scrapy框架是什么
图片来自于视频截图 https://www.bilibili.com/video/av13663892?from=search&seid=14558547834902071738 时间:00:18
Scrapy 运行流程
如片来自视频截图 https://www.bilibili.com/video/av13663892?from=search&seid=14558547834902071738 时间:5min左右
制作Scrapy爬虫步骤
图片来自于 https://www.bilibili.com/video/av13663892?from=search&seid=14558547834902071738 时间:视频末尾
Scrapy框架<----这里开始才是正文
配置安装
- 操作系统:ubuntu
版本什么的忘了 - 安装依赖软件
sudo apt-get install python-pip
sudo apt-get install python-dev
sudo apt-get install libevent-dev - 开始下载
sudo pip install scrapy
这个下载的时候好像有点慢。。。TAT - 检验
试着运行一下,输入scrapy,如果成功,会出现下图。不会失败!其实我也不知道
- 创建项目
scrapy startproject test1
- 创建爬虫
这里需要更换目录
咱进去看看
上图是已经是处理过的,用来打印那个网址的body。。。原图忘了保存,问题不大 - 检查
应该是成功了
推荐参考资料
https://scrapy-chs.readthedocs.io/zh_CN/0.24/
总结
这个利用scrapy框架爬取信息的方式似乎比较简单(黑人问号脸???)
整个流程来说就是创建项目,修改一些参数,似乎就好了
另外,似乎好像还有很多东西要学,脑子里有很多东西想要实现却不知道怎样实现的,加油~
图片来自视频截图 https://www.bilibili.com/video/av13663892/?p=5 时间:00:04
·····························································································End!