模拟淘宝登录
def login_taobao():
print(‘开始登录…’)
try:
login_url=‘https://login.taobao.com/member/login.jhtml’
driver.get(login_url)
input_login_id = wait.until(EC.presence_of_element_located((By.ID, ‘fm-login-id’)))
input_login_password = wait.until(EC.presence_of_element_located((By.ID, ‘fm-login-password’)))
input_login_id.send_keys(‘your account’) # 用你自己的淘宝账号替换
input_login_password.send_keys(‘your password’) # 用你自己的密码替换
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ‘.fm-button.fm-submit.password-login’)))
submit.click()
is_loging = wait.until(EC.url_changes(login_url))
return is_loging
except TimeoutException:
print(‘login_taobao TimeoutException’)
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ‘.fm-button.fm-submit’)))
submit.click()
is_loging = wait.until(EC.url_changes(login_url))
if is_loging:
return is_loging
else:
login_taobao()
if name == ‘__main__’:
is_loging=login_taobao()
if is_loging:
print(‘已经登录’)
运行代码后可以看到程序自动的调起了一个Chrome浏览器并访问了淘宝的登录页面,自动的输入了用户淘宝账号和密码,自动的点击了登录按钮,但出现了一个滑动验证的控件,要求滑动验证。
![淘宝登录需要滑动验证](https://img-blog.csdnimg.cn/direct/38fbcda2269749349039efee7cebfb63.png#pic_center)
人工拖动滑动验证控件,显示验证失败。
![淘宝滑动验证失败](https://img-blog.csdnimg.cn/direct/9bbe35242f9b4d5a8b2db53ffef9e85b.png#pic_center)
这是因为淘宝有一套反爬机制识别是否是机器自动在登录。如果是人工打开浏览器,手工输入账号密码登录就不会弹出滑动验证控件进行验证。在网上有很多办法,如可以通过代理修改chormdriver的识别码,这里介绍通过Selenium如何接管已经运行的Chrome浏览器来实现规避淘宝的验证。
#### 3、Selenium接管已经运行的Chrome浏览器
##### 1)启动Chrome的远程调试模式
通过
`chrome.exe --remote-debugging-port=9222 --user-data-dir='某个存在的文件夹地址'` 启动Chrome的远程调试模式,启动一个Chrome浏览器。
找到chrome的安装目录,找到chrome.exe ,通过cmd命令行执行上面的命令。
![启动Chrome远程调试模式](https://img-blog.csdnimg.cn/direct/5b86f9216d7f4540ab3fa6639f32416c.png#pic_center)
运行上面命令后,就会弹出一个chrome浏览器,这个浏览器是可以被Selenium来接管操作的。
##### 2)代码中实现接管已经运行的Chrome浏览器
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common import TimeoutException
chrome_options = Options()
chrome_options.add_experimental_option(“debuggerAddress”, “localhost:9222”) #此处端口保持和命令行启动的端口一致
driver = Chrome(options=chrome_options)
wait = WebDriverWait(driver, 10)
模拟淘宝登录
def login_taobao():
print(‘开始登录…’)
try:
login_url=‘https://login.taobao.com/member/login.jhtml’
driver.get(login_url)
input_login_id = wait.until(EC.presence_of_element_located((By.ID, ‘fm-login-id’)))
input_login_password = wait.until(EC.presence_of_element_located((By.ID, ‘fm-login-password’)))
input_login_id.send_keys(‘your account’) # 用你自己的淘宝账号替换
input_login_password.send_keys(‘your password’) # 用你自己的密码替换
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ‘.fm-button.fm-submit.password-login’)))
submit.click()
is_loging = wait.until(EC.url_changes(login_url))
return is_loging
except TimeoutException:
print(‘login_taobao TimeoutException’)
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ‘.fm-button.fm-submit’)))
submit.click()
is_loging = wait.until(EC.url_changes(login_url))
if is_loging:
return is_loging
else:
login_taobao()
if name == ‘__main__’:
is_loging=login_taobao()
if is_loging:
print(‘已经登录’)
#### 4、运行效果
运行上述代码就可以看到,Selenium接管了这个通过Chrome的远程调试模式启动的浏览器,并自动输入用户名和密码,自动登录成功,跳转到我的淘宝界面。
![自动登录到我的淘宝](https://img-blog.csdnimg.cn/direct/1d8d285569614592a9fab5c9e9f058ff.png#pic_center)
### 二、通过Selenium自动爬取淘宝商品信息
#### 1、分析商品页面
https://s.taobao.com/search?page=1&q=ipad&tab=all
通过Chrome浏览器输入淘宝搜索商品页面链接F12打开开发者工具,分析淘宝搜索商品列表页的源代码,找到商品展示相关源代码包括商品的title、价格、详情页、购买情况等。我们需要通过解析这些源代码获取相应的商品信息。
![分析商品页面](https://img-blog.csdnimg.cn/direct/1be24e32ceb74a438dac99cc6dc6b9af.png#pic_center)
找到下一页翻页的按钮,我们需要控制下一页翻页的按钮来实现自动翻页。
![分析淘宝下一页](https://img-blog.csdnimg.cn/direct/ff455118566f43d0bffdcc0224ba70a0.png#pic_center)
#### 2、实现商品获取代码
解析获取商品信息
def get_products():
“”“提取商品数据”“”
html = driver.page_source
doc = pq(html)
items = doc(‘.Card–doubleCardWrapper–L2XFE73’).items()
for item in items:
product = {‘url’: item.attr(‘href’),
‘price’: item.find(‘.Price–priceInt–ZlsSi_M’).text(),
‘realsales’: item.find(‘.Price–realSales–FhTZc7U-cnt’).text(),
‘title’: item.find(‘.Title–title–jCOPvpf’).text(),
‘shop’: item.find(‘.ShopInfo–TextAndPic–yH0AZfx’).text(),
‘location’: item.find(‘.Price–procity–_7Vt3mX’).text()}
print(product)
自动获取商品信息并自动翻页
def index_page(url,cur_page,max_page):
print(’ 正在爬取:‘+url)
try:
driver.get(url)
get_products()
next_page_btn = wait.until(EC.element_to_be_clickable((By.XPATH, ‘//button/span[contains(text(),“下一页”)]’)))
next_page_btn.click()
do_change = wait.until(EC.url_changes(url))
if do_change and cur_page<max_page:
new_url=driver.current_url
cur_page = cur_page + 1
index_page(new_url,cur_page,max_page)
except TimeoutException:
print(’—index_page TimeoutException—')
#### 3、实现效果
从浏览器看,Selenium自动访问淘宝登录页,当切到用户名密码登录界面时,Selenium自动输入用户名、密码点击登录。登录成功后,自动访问商品搜索页搜索ipad,进行商信息获取,自动翻下一页。
从后台打印的日志看,显示“开始登录”、“已经登录”,正在爬取的链接和该链接下的商品信息。
![Selenium后台日志](https://img-blog.csdnimg.cn/direct/f92bec0162d745e3a71a29069780ae16.png#pic_center)
至此,通过Selenium来代码实现模拟登录淘宝并自动爬取商品信息,进行了Selenium的实战。
要注意的是:
>
> 1、在Selenium打开登录页面后淘宝默认的是扫码登录,需要人为接入切换用户密码模式。这时也可以让Selenium自动去切到用户密码模式登录。代码如下:
> change\_type=wait.until(EC.presence\_of\_element\_located((By.CSS\_SELECTOR, ‘.iconfont.icon-password’)))
> change\_type.click() #切换到用户密码模式登录
> 2、在运行启动Chrome的远程调试模式,启动Chrome浏览器后,要关闭其他的Chrome浏览器,保留远程调试模式启动的浏览器就好了。如果是存在多个Chrome浏览器Selenium会不知道要接管哪一个。
>
>
>
### 附上全部完整代码:
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common import TimeoutException
from urllib.parse import quote
from pyquery import PyQuery as pq
chrome_options = Options()
chrome_options.add_experimental_option(“debuggerAddress”, “localhost:9222”) #此处端口保持和命令行启动的端口一致
driver = Chrome(options=chrome_options)
wait = WebDriverWait(driver, 10)
模拟淘宝登录
def login_taobao():
print(‘开始登录…’)
try:
login_url=‘https://login.taobao.com/member/login.jhtml’
driver.get(login_url)
change_type=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘.iconfont.icon-password’)))
change_type.click() #切换到用户密码模式登录
input_login_id = wait.until(EC.presence_of_element_located((By.ID, ‘fm-login-id’)))
input_login_password = wait.until(EC.presence_of_element_located((By.ID, ‘fm-login-password’)))
input_login_id.send_keys(‘your account’) # 用你自己的淘宝账号替换
input_login_password.send_keys(‘your password’) # 用你自己的密码替换
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ‘.fm-button.fm-submit.password-login’)))
submit.click()
is_loging = wait.until(EC.url_changes(login_url))
return is_loging
except TimeoutException:
print(‘login_taobao TimeoutException’)
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ‘.fm-button.fm-submit’)))
submit.click()
is_loging = wait.until(EC.url_changes(login_url))
if is_loging:
return is_loging
else:
login_taobao()
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)
blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注Python)
![img](https://i-blog.csdnimg.cn/blog_migrate/3a3390c35830fb1a2d7a8af30ded7a6b.jpeg)