＜爬虫＞ 利用selenium 按照输入的商品名 爬取商品的信息

参数获取

1. 打开网址淘宝搜索
2. 右键 选择“检查”
3. 点击左上角的图标
4. 点击页面上的内容即可查看代码所在位置
5. 扫码登录淘宝
6. 重复step3、step4得到商品的信息

 

代码解析

传入搜索内容进行搜索

from selenium import webdriver
from bs4 import BeautifulSoup as bs
import pandas as pd

# 获取url信息
browser = webdriver.Chrome()
browser.get('https://s.taobao.com')

# input_1是输入框 button是搜索按钮
input_1=browser.find_element_by_class_name('search-combobox-input')
button=browser.find_element_by_class_name('btn-search')

# 传入要搜索内容 iPad 点击搜索按钮
input_1.send_keys('iPad')
button.click()

获取页面源代码

html = browser.page_source  # 获得网页源代码
soup = bs(html)             # html字符串创建B