Python3网络爬虫工具安装(Mac)
以下都是基于 Python3
爬虫:抓取页面 -> 分析页面 -> 存储数据
请求库的安装
- Homebrew 安装
Mac下的包管理工具
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
- Python3 安装
# Python3 & pip3 一起安装
brew install python3
- requests 安装
第三方库,Python不会自带这个库
pip3 install requests
- Selenium 安装
自动化测试工具,驱动浏览器执行特定的动作
pip3 install selenium
- ChromeDriver 安装
自动化测试工具,配置浏览器使用
# 查看 chrome 版本以及对应的 chromedriver 版本
http://chromedriver.chromium.org/downloads
# 配置环境变量
sudo mv chromedriver /usr/local/bin
vim ~/.bash_profile
export PATH=/usr/local/bin:$PATH
# 使环境变量生效
source ~/.bash_profile
- aiohttp 安装
requests 是一个 阻塞式 HTTP 请求库 ,发出一个请求后,程序会一直等待服务器响应,直到得到响应后,才会进行下一步处理。
一个::异步 Web 服务::的库,异步操作可以借助 async/await 关键字,使写法更简洁。
使用场景&#