想要最接近人的爬虫库吗?selenium帮你解决!
第一步安装Selenium库
个人推荐使用pip安装
pip install selenium
注明:这里博主没有设置python环境变量,偷懒嘿嘿。设置了环境变量直接上述代码即可,没有的话找到路径加上上述代码
要使用selenium的话,火狐浏览器驱动firefox的GeckoDriver和谷歌浏览器Chrome的ChromeDriver必须要用到:
chromedriver下载地址
geckodriver下载地址
注明:下载完后,如果自己的python已设置环境变量,直接将其放在python的Scripts文件夹下即可
代码示例一
关于selenium的简单使用:
from selenium import webdriver #第一:重selenium库中导入webdriver函数
browser=webdriver.Chrome(r'F:\python3\Scripts\chromedriver.exe') #第二:创建对象,其中chromedriver我没设置环境变量,直接输入chromedriver地址即可
browser.get('https://www.taobao.com') #第三:获取网站链接
print(browser.get_source) #第四:获取网页源代码
browser.close #第五:关闭对象
代码效果图:
提高部分:
关于selenium中获取单个节点方法:
find_element_by_id(‘参数’)
find_element_by_name
find_element_by_xpath
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
获取多节点时,只需在element加个s就行,即elements
#关于selenium节点交互实现,常见有:send_keys(‘string’),clear(),click()三个函数:
代码示例:
from selenium import webdriver#导入webdriver库
import time
browser=webdriver.Chrome(r'F:\python3\Scripts\chromedriver.exe')#建立浏览器对象
browser.get('https://www.taobao.com')#获取网址内容
input=browser.find_element_by_css_selector('#q') #查找到输入框,其id为q
input.send_keys('iPhone') #使用send_keys函数送入字符串
time.sleep(1)
input.clear() #清除字符串
input.send_keys('iPad')
button=browser.find_element_by_class_name('btn-search') #寻找到按钮按键
button.click() #click函数实行点击功能
它会打开淘宝界面,并会在搜索栏先自动输入’iPhone’,一秒后清除。再自动输入’iPad’,并会点进去
更多有趣内容会慢慢更新
即使失恋,也要奋战!!!