【python写爬虫】简单的爬虫（爬文字、爬链接）

一、别人的小程序
import requests
from lxml import html
url=‘https://movie.douban.com/’ #需要爬数据的网址
page=requests.Session().get(url)
tree=html.fromstring(page.text)
result=tree.xpath(’//td[@class=“title”]//a/text()’) #获取需要的数据
print(result)

二、实践加学习
（一）pip install requests和lxml
（二）分析 xpath: //td[@class=“title”]//a/text()
//:相对路径
td：元素
class:属性值，title定位
a:链接属性
text（）:获取链接属性中的文字
该方法中的 Xpath与selenium中的Xpath定位方法不同
又想取一下href的值，即网页上所有的链接
更换为result=tree.xpath(’//td[@class=“title”]//a/href()’) 出错，无法取到相关值

三、延伸，取href值
import time
from selenium import webdriver

driver = webdriver.Chrome()
driver.get(“https://movie.douban.com/”)
time.sleep(1)

for link in driver.find_elements_by_xpath("//*[@href]"):
print(link.get_attribute(‘href’))

selenium和requests都可以获取网页元素值。