scrapy

刘硕  就职于知名外企  从事一线 开发工作10年  目前主要从事Python开发与教学 在慕课网开设多门Python课程

深受学员欢迎。假设你在本地新开了一家 以外卖生意为主的餐馆 现在要给菜品定价 此时 可以开发一个爬虫程序

在美团 饿了么 百度外卖 这些外卖网站 爬取大量其他餐馆 的菜品加个作为参考

下载页面 -----》  提取页面中的 数据------》提取 页面中的链接-----》下载页面

--------

将数据以某种格式(CSV JSON)写入文件中  或存到数据库中MySQL  MongoDB

防止重复爬取相同页面(URL去重)  网页搜索策略 (深度优先或者广度优先) 爬虫访问边界 限定等一系列问题

--------

Scrapy  使用python语言  基于Twisted框架  编写的开源网络爬虫框架   由 Scrapinghub LTD维护 

专门供初学者训练爬虫技术的 网站  http://books.toscrape.com

前言：

之前一直用的都是 windows 系统的电脑，刚接触 Mac ，很多功能都不熟悉，写下博客记录一下，以防以后忘记，也给后来者提供方便。

命令行方式：

显示隐藏文件：

defaults write com.apple.Finder AppleShowAllFiles YES;KillAll Finder

不显示隐藏文件：

defaults write com.apple.Finder AppleShowAllFiles NO;KillAll Finder

快捷键方式：

这个也是新发现，真是感谢伟大的网友们，用快捷键会更方便：

command+shift+.

就可以神奇的来回切换隐藏不隐藏了。

https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html#scrapy

scrapy中文