Python3网络爬虫工具安装（Mac）

Python3网络爬虫工具安装（Mac）

以下都是基于 Python3

爬虫：抓取页面 -> 分析页面 -> 存储数据

请求库的安装

• Homebrew 安装
  Mac下的包管理工具

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

• Python3 安装

# Python3 & pip3 一起安装
brew install python3

• requests 安装
  第三方库，Python不会自带这个库

pip3 install requests

• Selenium 安装
  自动化测试工具，驱动浏览器执行特定的动作

pip3 install selenium

• ChromeDriver 安装
  自动化测试工具，配置浏览器使用

# 查看 chrome 版本以及对应的 chromedriver 版本
http://chromedriver.chromium.org/downloads
# 配置环境变量
sudo mv chromedriver /usr/local/bin
vim ~/.bash_profile
export PATH=/usr/local/bin:$PATH
# 使环境变量生效
source ~/.bash_profile

• aiohttp 安装
  requests 是一个 阻塞式 HTTP 请求库 ，发出一个请求后，程序会一直等待服务器响应，直到得到响应后，才会进行下一步处理。
  一个::异步 Web 服务::的库，异步操作可以借助 async/await 关键字，使写法更简洁。
  使用场景&#