hello大家好,萌新一枚。
今天又是元气满满的一天呢,啊哈哈哈哈哈~
既然这样,就把崔庆才大佬编著的《Python3网络爬虫开发实战》,撸个读书笔记吧。
因为,做笔记,留痕迹,补差距,这个效果蛮不错的,随时可以过来翻看,而且发布到网络上,不会感觉过于无聊和孤(空)独(虚)。
好了,读书笔记,我先撸为敬。
第1章:开发环境配置
需要配置的环境如下:
Python3
请求库
- requests
- urllib
- Selenium
- ChromeDriver
- GeckoDriver
- PhantomJs
- aiohttp
解析库
- lxml
- Beautiful Soup
- pyquery
- tesserocr
数据库及存储库
- MySQL
- MongoDB
- Redis
- PyMongo
- redis-py
- RedisDump
十分不建议在windows中安装数据库,各种问题搞不定啊,按下葫芦起了瓢的赶脚分分钟爆炸
如果想要安装的话,建议安装在Linux虚拟机中,方便省事安全可靠,就是这么地道~
而且有错误了,随时可以干掉虚拟机,让宇宙重新启动
Web库
- Flask
- Tornado
App爬取相关库
- Clarles
- mitmproxy
- Appium
爬虫框架
- pyspider
- Scrapy
- Scrapy-Splash
- Scrapy-Redis
部署相关库
- Docker
- Scrapyd
- Scrapyd-Client
- Scrapyd API
- Scrapyrt
- Gerapy
第1章终结