使用selenium 爬取豆瓣《千与千寻》影评

本文介绍了如何使用selenium爬取《千与千寻》在豆瓣上的影评,通过redis获取存储的JSON数据,并解析显示评论作者的名字。
摘要由CSDN通过智能技术生成

这个是老师要求爬两万条数据的时候,顺便做的,我爬取的是《千与千寻》
直接上代码吧

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import re
import csv
import pymysql
import lxml.html
import time
from redis import StrictRedis,ConnectionPool

#用数据池连接Redis
pool = ConnectionPool(host='localhost',port=6379,db=0,decode_responses=True)
redis = StrictRedis(connection_pool=pool)
#声明浏览器对象
driver = webdriver.Chrome()
url = 'https://movie.douban.com/subject/1291561/'#豆瓣网 千与千寻
start = time.time()
print('开始时间:'+str(start))
m = 'QianyuQ'#数据包的键
try:
	driver.get(url)#输入url
	button_3 = driver.find_element(By.XPATH,'//*[@id="comments-section"]/div[1]/h2/span/a')#获取全部评论的节点
	button_3.click()#点击
	#获取评论者名字
	names = driver.find_elements(By.XPATH,'//*[@id="comments"]/div/div[2]
  • 2
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值