python爬虫OS X环境搭建

将windows平台的爬虫代码，移值到mac平台执行，重新搭建了下运行环境。需要安装python、相关包及phantomjs平台。

Homebrew的安装

Homebrew是Mac OSX上的软件包管理工具，能在Mac中方便的安装软件或者卸载软件，类似ubuntu系统下的apt-get的功能。网站地址http://brew.sh/ ，在Mac中打开终端， 输入命令：ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"。完成后，即可以使用brew install packagename进行软件安装，类似命令还有brew uninstall、brew list、brew list等等。

meld的安装问题

新版本homebrew的meld位置有所改变，需要使用brew install caskroom/cask/meld进行安装。

python版本的安装

mac os本身安装了python2.7版本，默认使用python命令即为原系统python。当使用homebrew安装python时，需要使用brew install python3进行3.x版本的安装。同样系统调用link成不同与python的名字如python3、python3.x等。

python爬虫相关包的安装

理解上python3.x后的版本集成了pip功能：

pip -mpip install -U requests

pip -mpip install -U selenium

pip -mpip install -U BS4

pip -mpip install -U scrapy

... ...

phantomjs的安装

官方地址 http://phantomjs.org/download.html，网络速度一直比较慢，难以下载，最后通过镜像地址 http://npm.taobao.org/dist/phantomjs/进行下载。

关于环境变量的添加

将phantomjs放置/usr/local，需要添加环境变了 /usr/local/phantomjs/bin，方式如下：

sudo emacs ~/.bash_profile

export PATH=$PATH:/usr/local/phantomjs/bin

通过echo $PATH命令显示环境的变量，前后比较就可发现在PATH变量后面加多一个目录/usr/local/phantomjs/bin，注意重启终端后才能起效。

测试代码，test.py

#!/usr/bin/python
# coding: utf-8
import requests
import io
from selenium import webdriver
import time
import sys
import re
import getURLModule
import sys
print("脚本名：", sys.argv[0])
for i in range(1, len(sys.argv)):
     print("bb", i, sys.argv[i])

#driver = webdriver.PhantomJS(executable_path='/usr/local/phantomjs/bin/phantomjs')
driver = webdriver.PhantomJS(executable_path='phantomjs')
driver.get('http://quote.eastmoney.com/sh603098.html')
time.sleep(3)
title = driver.find_elements_by_xpath('//h2')  #
value = driver.find_element_by_id("gt6_2")
print('vlaue:%s'%value.text)

driver.quit()

执行成功，结果如下：

脚本名： test.py

vlaue:45.78