selenium爬取珍爱网用户信息

本文介绍了如何利用selenium进行网页模拟滚动和图片下载,以爬取珍爱网用户信息。在爬取过程中,通过设置循环实现页面持续滚动并抓取内容,同时详细说明了图片下载的注意事项,包括以wb模式写入和使用request.content。虽然登录时遇到验证码,但通过适当延时手动解决,成功实现了完整爬取。
摘要由CSDN通过智能技术生成

近期接到一个任务,爬取珍爱网上的用户信息,这个对单身的我来说瞬间提起了兴趣,这有可能是我脱单的开始,哼哼,不装逼了,先来看看怎么帮我脱单,嘻嘻嘻

import requests
import time
import re
from lxml import etree
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.chrome.options import Options


chrome_options = Options()
# chrome_options.add_argument('--proxy-server=http://127.0.0.1:9000')
browser = webdriver.Chrome(chrome_options=chrome_options)
# browser = webdriver.Chrome()
browser.get('https://www.zhenai.com/n/search#sex=1&workCity=10101213&ageBegin=18&ageEnd=30&heightBegin=-1&heightEnd=-1&body=-1&multiEducation=-1&salaryBegin=-1&salaryEnd=-1&')
# print(browser.page_source)
wait = WebDriverWait(browser, 10)
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值