python爬取知乎问题回答_python 爬虫实战四：用 selenium 爬取知乎某一问题下所有回答...

前言

最近我又重新拾起了爬虫，想实现一下前几次爬虫所没有涉及到的两个点：模拟登录和动态网页爬取，所采用的方法是利用 selenium 这个库，例子是爬取知乎某一问题下所有回答。

模拟登录

很多网站，比如知乎、微博、豆瓣，都需要登录之后，才能浏览某些内容。所以想要爬取这类网站，必须先模拟登录。比较简单的方式是利用这个网站的 cookie。cookie 相当于是一个密码箱，里面储存了用户在该网站的基本信息。在一次登录之后，网站会记住你的信息，把它放到cookie里，方便下次自动登录。所以，要爬取这类网站的策略是：先进行一次手动登录，获取cookie，然后再次登录时，调用上一次登录得到的cookie，实现自动登录。

代码如下：(参考 微笑的AK-47：原内容)

# 得到登录的cookie

def login_cookie():

driver = get_driver()

driver.set_page_load_timeout(20)

driver.set_script_timeout(20)

LOGIN_URL = 'https://www.zhihu.com/'

driver.get(LOGIN_URL)

time.sleep(5)

input("请登录后按 Enter")

cookies = driver.get_cookies()

jsonCookies = json.dumps(cookies)

#下面的文件位置需要自己改

with open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt','w') as f:

f.write(jsonCookies)

driver.quit()

# 再次登录

def login():

driver.set_page_load_timeout(20)

driver.set_script_timeout(20)

LOGIN_URL = 'https://www.zhihu.com/'

driver.get(LOGIN_URL)

time.sleep(5)

#下面的文件位置需要自己改，与上面的改动一致

f = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt')

cookies = f.read()

jsonCookies = json.loads(cookies)

for co in jsonCookies:

driver.add_cookie(co)

driver.refresh()

time.sleep(5)

动态爬取

在爬取知乎某个问题的时候，需要将滑动鼠标滚轮到底部，以显示新的回答。静态的爬取方法无法做到这一点，可以引入selenium库来解决这一问题。selenium库模拟人浏览网站、进行操作，简单易懂。附上官方文档和中文教程。

代码如下：

# 爬取某问题下的所有答案

def get_answers(question_url):

driver.get(question_url)

number_text = driver.find_element_by_partial_link_text('查看全部').text

number = int(re.search('[0-9]+',number_text).group())

driver.find_element_by_partial_link_text('查看全部').click()

for k in range(number):

xpath = '/html/body/div[1]/div/main/div/div[2]/div[1]/div/div[2]/div/div/div/div[2]/div/div[{}]/div/div[2]/div[1]/span'.format(k+1)

element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, xpath)))

answer = element.text

#下面的文件位置需要自己改，保存到你想要的位置

file = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/回答/answer{}.txt'.format(k+1),'w',encoding='utf-8')

file.write(answer)

file.close()

print('answer '+ str(k+1) +' collected!')

time.sleep(1)

js="window.scrollTo(0,document.body.scrollHeight)"

driver.execute_script(js)

time.sleep(1)

完整代码

# -*- coding: utf-8 -*-

"""Created on Sat Oct 31 14:41:46 2020@author: zxw"""

# 引入必要的库

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

import json

import time

import re

def get_driver():

try:

return webdriver.PhantomJS()

except Exception:

return webdriver.Firefox()

# 得到登录的cookie

def login_cookie():

driver = get_driver()

driver.set_page_load_timeout(20)

driver.set_script_timeout(20)

LOGIN_URL = 'https://www.zhihu.com/'

driver.get(LOGIN_URL)

time.sleep(5)

input("请登录后按 Enter")

cookies = driver.get_cookies()

jsonCookies = json.dumps(cookies)

#下面的文件位置需要自己改

with open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt','w') as f:

f.write(jsonCookies)

driver.quit()

# 再次登录

def login():

driver.set_page_load_timeout(20)

driver.set_script_timeout(20)

LOGIN_URL = 'https://www.zhihu.com/'

driver.get(LOGIN_URL)

time.sleep(5)

#下面的文件位置需要自己改，与上面的改动一致

f = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/cookies/zhihu.txt')

cookies = f.read()

jsonCookies = json.loads(cookies)

for co in jsonCookies:

driver.add_cookie(co)

driver.refresh()

time.sleep(5)

# 爬取某问题下的所有答案

def get_answers(question_url):

driver.get(question_url)

number_text = driver.find_element_by_partial_link_text('查看全部').text

number = int(re.search('[0-9]+',number_text).group())

driver.find_element_by_partial_link_text('查看全部').click()

for k in range(number):

xpath = '/html/body/div[1]/div/main/div/div[2]/div[1]/div/div[2]/div/div/div/div[2]/div/div[{}]/div/div[2]/div[1]/span'.format(k+1)

element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, xpath)))

answer = element.text

#下面的文件位置需要自己改，保存到你想要的位置

file = open('C:/Users/zxw/Desktop/修身/与自己/数据分析/数据分析/爬虫/回答/answer{}.txt'.format(k+1),'w',encoding='utf-8')

file.write(answer)

file.close()

print('answer '+ str(k+1) +' collected!')

time.sleep(1)

js="window.scrollTo(0,document.body.scrollHeight)"

driver.execute_script(js)

time.sleep(1)

if __name__ == "__main__":

# 设置你想要搜索的问题

question_url = 'https://www.zhihu.com/question/21592677/answer/142800018'

login_cookie()

driver = get_driver()

login()

get_answers(question_url)

效果展示

更改上述代码中的路径位置和想要爬取的问题，然后点击运行。

控制台里按回车

然后不要动！！！静观其变。最终结果如下：