Python爬虫（一）

花了四天的时间用python写了个简单的爬虫程序。整个过程分为两个部分：工具的安装和程序的实现

本文并没有讲程序的具体实现遇到的问题，而是对着手前一些前期的准备

第一部分（工具的安装）

开发工具的下载安装MySql + MySQLWorkbench +PyCharm （可参考）

第二部分（程序实现部分）

mac os x下python安装MySQLdb模块

在整个程序进行开始前，爬虫需要的Python模块主要是MySQLdb模块

安装这个模块也花了点时间，其安装过程如下：

1、在下面的网址下载mysqldb模块：

http://sourceforge.net/projects/mysql-python/    

2、在mac os x直接双击解压，在终端进入安装目录， 执行python setup.py build

如果出现   sh: mysql_config: command not found等错误时，可以解决的方法：

在默认方式安装 Mac 版 MySql 时，会在 /usr/local/mysql/bin 目录下生成 mysql_config 文件。

因此下载安装时的解决办法为：在 MySQL-python 的安装包中找到 site.cfg 文件，打开它，找到以下内容：

# The path to mysql_config.

# Only use this if mysql_config is not on your PATH, or you have some weird

# setup that requires it.

# mysql_config = /usr/local/bin/mysql_config

将最后一句句首井号去掉，并修改为：

mysql_config = /usr/local/mysql/bin/mysql_config

　　

然后执行：

$ python setup.py install

可能会出现Reason: image not found 错误，解决 Reason: image not found 错误如下：

解决方法是在终端执行：

$ sudo ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib

$ sudo ln -s /usr/local/mysql/lib /usr/local/mysql/lib/mysql

sudo ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib

注意在mac 下安装这些东西时，在涉及到配置文件的修改时，需要知道怎么使用vim

mac os x下python安装MySQLdb模块 真可谓千辛万苦，最后在终端和Pycharm环境下都可以应用这个模块，并且可以链接操作数据库。

程序的具体实现待续   Python爬虫（二）

参考博客：

http://www.cnblogs.com/ifantastic/archive/2013/04/13/3017677.html

http://www.codeif.com/post/1073/