爬虫笔记1901026

Scrapy框架是什么

图片来自于视频截图 https://www.bilibili.com/video/av13663892?from=search&seid=14558547834902071738 时间：00：18

Scrapy 运行流程

如片来自视频截图 https://www.bilibili.com/video/av13663892?from=search&seid=14558547834902071738 时间：5min左右

制作Scrapy爬虫步骤

图片来自于 https://www.bilibili.com/video/av13663892?from=search&seid=14558547834902071738 时间：视频末尾

Scrapy框架<----这里开始才是正文

配置安装

• 操作系统：ubuntu 版本什么的忘了
• 安装依赖软件
  sudo apt-get install python-pip
  sudo apt-get install python-dev
  sudo apt-get install libevent-dev
• 开始下载
  sudo pip install scrapy
  这个下载的时候好像有点慢。。。TAT
• 检验
  试着运行一下，输入scrapy，如果成功，会出现下图。不会失败！其实我也不知道
  
• 创建项目
  scrapy startproject test1
  
• 创建爬虫
  这里需要更换目录
  
  咱进去看看
  
  
  上图是已经是处理过的，用来打印那个网址的body。。。原图忘了保存，问题不大
• 检查
  
  
  应该是成功了

推荐参考资料

https://scrapy-chs.readthedocs.io/zh_CN/0.24/

总结

这个利用scrapy框架爬取信息的方式似乎比较简单（黑人问号脸？？？）
整个流程来说就是创建项目，修改一些参数，似乎就好了
另外，似乎好像还有很多东西要学，脑子里有很多东西想要实现却不知道怎样实现的，加油~

图片来自视频截图 https://www.bilibili.com/video/av13663892/?p=5 时间：00:04
·····························································································End！