python调用urllib库爬取百度html代码， request库

最新推荐文章于 2024-04-18 18:23:14 发布

qq_45990691

最新推荐文章于 2024-04-18 18:23:14 发布

阅读量680

点赞数

本文链接：https://blog.csdn.net/qq_45990691/article/details/108291704

版权

#使用urllib库爬取百度html代码
import urllib.request
url1='http://www.baidu.com/'
req=urllib.request.Request(url1)
with urllib.request.urlopen(req) as response:
    data=response.read()
    htmlstr=data.decode()   #这里的read方法获取了response的内容，并转换格式
    print(htmlstr)

#获取标题和页面资源
from  selenium  import webdriver
from time import sleep
import re, requests
a=webdriver.Chrome()
a.get('http://www.baidu.com/')
a.find_element_by_xpath("//*[@id='kw']").send_keys("宫崎骏")
a.maximize_window()
a.find_element_by_id("su").click()
sleep(5)
print(a.title)
print(a.page_source)
a.quit()