python 爬虫源码 selenium并存储数据库_python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库...

title: python + selenium +chrome爬取qq空间好友说说并存入mongodb数据库

准备阶段

在正式开始在前需要先准备好做爬虫的工具，本例使用chrome无头浏览器进行爬取工作，也可使用其他浏览器，程序中的其他可替代工具在此之后不再一一赘述，有一些不明白的地方可以自行百度，有错误的地方欢迎大家指正，大家共同学习共同进步！！

需要用到的库:

pymongo

selenium

csv

time

爬虫思路分析

从csv文件读取好友qq号码构造url链接

使用chrome + selenium登录QQ，选择账号密码的等率方式

爬取好友说说的发表的时间信息

把爬取到的信息存储在mongodb中

从qq邮箱获取好友列表，存储为csv文件

打开qq邮箱选择通讯录 > 工具 > 导出联系人文件选择部分好友文件导出，保存为csv文件，之后便于从csv文件读取好友qq号

qq空间好友说说的链接为http://user.qzone.qq.com/{好友qq号码}/311，首次打开需登录

观察源码，选择适当的筛选方法

写入数据库

爬虫代码如下：

#导入程序需要的库

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

import time

import csv

import pymongo

#链接数据库

client = pymongo.MongoClient('localhost',27017)

#创建数据库和数据集合

net_speader = client['net_speader']

qq_data = net_speader['qq_data']

chrome_options = Options()

#选择无头chrome，并设置窗口最大化

chrome_options.add_argument('--headless')

driver = webdriver.Chrome(chrome_options=chrome_options)

driver.maximize_window()

#定义获取信息的函数

def get_info(qq):

#声明变量

global time

#请求url隐式等待15s

driver.get('https://user.qzone.qq.com/{}/311'.format(qq))

driver.implicitly_wait(15)

#判断页面是否需要登陆，通过查找是否有ID为login_div的div标签来进行判断

try:

driver.find_element_by_id('login_div')

a = True

except:

a = False

#如果需要登陆则切换到需要登陆的框架进行登陆

if a == True:

driver.switch_to.frame('login_frame')

driver.find_element_by_id('switcher_plogin').click()

driver.find_element_by_id('u').clear()

driver.find_element_by_id('u').send_keys('你的qq号码')

driver.find_element_by_id('p').clear()

driver.find_element_by_id('p').send_keys('你的qq号密码')

driver.find_element_by_id('login_button').click()

time.sleep(5)

driver.implicitly_wait(3)

#通过查找是否有ID为QM_OwnerInfo_Icon的div标签来判断是否有权限访问好友的qq空间

try:

driver.find_element_by_id('QM_OwnerInfo_Icon')

b = True

except:

b = False

#如果可以访问则切换到好友说说框架进行数据的爬取和储存

if b == True:

driver.switch_to.frame('app_canvas_frame')

contents = driver.find_elements_by_css_selector('.content')

times = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')

for content,time in zip(contents,times):

data = {

'time':time.text,

'content':content.text

}

print(data)

qq_data.insert_one(data)

#主程序入口，通过csv库读取通讯录文件，存入列表

if __name__ == '__main__':

qq_lists = []

fp = open(r'W:\text\qqmail.csv',encoding='gb18030',errors='ignore')

reader = csv.DictReader(fp)

for row in reader:

qq_lists.append(row['qqmail'].split('@')[0])

fp.close()

print(qq_lists)

for i in qq_lists:

get_info(i)