etree.HTML和beautifulsoop与selenium自动化和scrapy框架在获取html方面的不同

1.讲讲etree.HTML
首先这个是lxml库中的etree函数,基本语法是：

from lxml import etree
import requests
a=requests.get("http:www.baidu.com")
b=etree.HTML(a.text)

有一个问题是，这个得到的html并不是elements,而是将元素中的值改变成公证的html格式，以便于进行xapth操作，使用etree.HTML能做到的话那么使用正则表达式一样能够获取到你想要的内容。
2.讲讲beautifulsoop(bs4)用法

import bs4
from bs4 import BeautifulSoup
import requests
a=requests.get("http:www.baidu.com")
soup = BeautifulSoup(a.text,'html.parser')

有一个问题是，它跟etree.HTML效果是一样的，这个得到的html并不是elements,而是将元素中的值改变成公证的html格式，以便于进行xapth操作，使用BeautifulSoup能做到的话那么使用正则表达式和etree.HTML一样能够获取到你想要的内容。

3.讲讲selenium自动化
selenium自动化是模拟人工来对网页进行操作，基本上很多反扒都可以使用selenium来解决，我个人认为是比etree.HTML、BeautifulSoup都高一级的操作，基本上只要使用etree.HTML、BeautifulSoup能获取内容的，使用selenium自动化一定能获取，而且selenium获取的就是网页的elements,只要存在即可以获取。
selenium自动化基本用法如下：

from selenium import webdriver

option = webdriver.ChromeOptions()
option.add_argument("headless")
driver = webdriver.Chrome(chrome_options=option)
# driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
driver.maximize_window()

4.讲讲scrapy框架
scrapy框架也是是比etree.HTML、BeautifulSoup都高一级的操作，基本上只要使用etree.HTML、BeautifulSoup能获取内容的，使用scrapy框架一定能获取，而且selenium获取的就是网页的elements,只要存在即可以获取。
scrapy框架一些操作：

scrapy startproject data #创建项目
scrapy crawl data #运行项目