从入门到入土：Python爬虫学习|Selenium自动化模块学习|简单入门|轻松上手|自动操作浏览器进行处理|chrome|PART01

此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除）
本人博客所有文章纯属学习之用，不涉及商业利益。不合适引用，自当删除！
若被用于非法行为，与我本人无关

driver驱动器安装

• 去这儿下载对应版本的chromedriver
  
• 然后导入python目录下
  

安装对应的selenium库

• 直接在命令行使用pip进行安装

pip install selenium

说明

• 使用如下语句查看webdriver手册

from selenium import webdriver

print(help(webdriver))

• 可以看到支持大部分的浏览器操作
• Selenium是用于跨不同浏览器和平台的Web应用程序。也就是使用Python脚本来操作Web应用程序，我们用于爬虫主要操作的是浏览器

案例测试01

from selenium import webdriver

driver = webdriver.Chrome()
url='http://www.baidu.com'
driver.get(url)

• 效果：
• 在运行后，脚本会打开浏览器并访问指定的url

• 这是最简单的使用方法
• 使用python脚本打开浏览器访问指定的url

获取页面内容

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
url='https://blog.csdn.net/Q_U_A_R_T_E_R?spm=1000.2115.3001.5343'
driver.get(url)
html = driver.page_source
soup = BeautifulSoup(html,'lxml')
print(soup)

• 到这里为止都没有出现任何不可替代性

表单填充

• 既然说到了Python脚本操作浏览器
• 那自然是可以进行表单填充，就是在定位到指定输入框之后进行

from selenium import webdriver

driver = webdriver.Chrome()
url='http://www.baidu.com'
driver.get(url)
driver.find_element_by_xpath('//*[@id="kw"]').clear()#清空搜索框
driver.find_element_by_xpath('//*[@id="kw"]').send_keys("你好")#输入搜索内容

定位方法

使用ID定位

 find_element_by_id()

使用name定位

find_element_by_name()

使用class定位

find_element_by_class_name()

使用tag定位

• 在html中tag主要指的是功能类型

find_element_by_tag_name()

使用link定位

find_element_by_link_text()

使用partial_link定位

find_element_by_partial_link_text()

使用xpath定位

find_element_by_xpath()

使用css定位

find_element_by_css_selector()

获取

获取网页源码

html = driver.page_source

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
url='https://blog.csdn.net/Q_U_A_R_T_E_R?spm=1000.2115.3001.5343'
driver.get(url)
html = driver.page_source

获取网页cookie

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
url='https://blog.csdn.net/'
driver.get(url)
input()
time.sleep(3)
cookie=driver.get_cookies()
print(cookie)
cookies = {cookie['name']:cookie['value'] for cookie in cookie}
print(cookies)

• 打开发现是没有登录的状态
• 手动登录一下

• 回到pycharm回车等待三秒

添加cookies

 cookie_dict = {
            'domain': '.damai.cn',
            'name': cookie.get('name'),
            'value': cookie.get('value'),
            "expires": '',
            'path': '/',
            'httpOnly': False,
            'HostOnly': False,
            'Secure': False
        }
    driver.add_cookie(cookie_dict)
    driver.refresh()  

获取当前URL

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
url='https://blog.csdn.net/'
driver.get(url)
URL=driver.current_url
print(URL)

来一个百度搜索“你好，世界”

from selenium import webdriver
 
driver = webdriver.Chrome()
url='http://www.baidu.com'
driver.get(url)
driver.find_element_by_xpath('//*[@id="kw"]').clear()#清空搜索框
driver.find_element_by_xpath('//*[@id="kw"]').send_keys("你好，世界")#输入搜索内容
driver.find_element_by_xpath('//*[@id="su"]').click()#点击搜索键

end
selenium内容比较多可能会多写几篇博客学习