接上文(爬虫实战:学者网(一)),本篇主要讲述学者网爬虫代码实现部分。
程序流程:
1首先我们要建立数据库来实现存储。
2我们要初始化第一个用户,由他开始遍历网络
3遍历网络找到所有人的ID、中文名、单位
4通过ID爬取邮箱
下面是实验运行主要程序,链接数据库后,按照上方的描述进行实验。
# -*- coding: utf-8 -*-
#!/usr/bin/env python
from function import *
db, cur = connectDB()
#1
creatdetailstable(db, cur)
#2
initfirstuser(db, cur)
#3