python实现人人网用户数据爬取及简单分析

   这是之前做的一个小项目，这几天刚好整理了一些相关资料，顺便就在这里做一个梳理啦~

   简单来说这个项目实现了，登录人人网并爬取用户数据，并对用户数据进行分析挖掘，最终效果如下：1、存储人人网用户数据（户主的所有好友、户主好友的所有好友、户主及好友关注的公共主页）；2、信息可视化，绘制户主好友间的关系网络图；3、数据挖掘，通过分析户主好友关注的公共主页，向户主推荐公共主页。

   项目分为三个部分，分别是人人网登录及用户数据爬取与存储、用户关系可视化、公共主页推荐。下面分别介绍这三个部分。

   第一部分实现了人人网登录及用户数据爬取与存储。由于之前做过一些用python写网络爬虫的事，所以开始阶段进展顺利。但随后就在登录阶段的重定向问题上遇到了很大的障碍。起初用python的第三方库urllib和urllib2的组合，参考了网上一些方案解决重定向问题，但总是失败。就在快要放弃的时候，偶然发现强大的python已经有一个解决重定向问题的第三方库httplib2了，于是愉快地用起了urllib和httplib2的组合，果然很快解决问题。成功实现人人网登录后，后面的数据爬取和存储问题就不再话下啦！