本文介绍了如何对学者网进行数据抓取，通过分析用户主页URL结构，利用六度空间理论设计遍历策略。通过观察网络请求，发现圈子信息以JSON格式传递，从而获取用户ID进行深度遍历。同时，针对网站的邮箱混淆处理，使用正则表达式成功提取邮箱地址。下篇将分享代码实现。
学者网是广东省服务计算工程技术研究开发中心（华南师范大学计算机学院汤庸团队）开发的学术社交网站，类似于谷歌学者。目标群体主要是高校学者。因此该网站用户定位十分精确。从价值上，个人信息价值高，主要有姓名单位邮箱等,如下图。
本着学习的目的，我编写了一套简单的程序对该网站进行数据抓取。本次爬虫项目分三个步骤：一、网站分析；二、程序设计。
另外免责声明：本文所有方法与代码与正常web浏览模式一致，不涉及侵犯任何计算机系统；本文爬到的数据皆为网页公开数据不涉及任何隐私；本文方法代码完全公开，请仅作学习使用，其余用途与本文作者无关。
网站分析：
1，如何迭代
最低0.47元/天 解锁文章
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
