Python基础学习笔记(6)

最新推荐文章于 2022-10-01 23:42:43 发布

Cacra

最新推荐文章于 2022-10-01 23:42:43 发布

阅读量262

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/u014465934/article/details/79471230

版权

Python 专栏收录该内容

39 篇文章 4 订阅

订阅专栏

《Python编程快速上手》

从Web抓取信息

webbrowser：是Python自带的，打开浏览器获取指定页面。
requests：从因特网上下载文件和网页。
Beautiful Soup：解析HTML，即网页编写的格式。
selenium：启动并控制一个Web浏览器。selenium能够填写表单，并模拟鼠标这这个浏览器中点击。

1.利用webbrowser模块的mapIt.py

webbrowser模块的open()函数可以启动一个新浏览器，打开指定的URL。

import webbrowser
webbrowser.open('https://www.baidu.com/')

2.用requests模块从Web下载文件

import requests

res = requests.get('http://www.gutenberg.org/cache/epub/pg1112.txt')

res.raise_for_status()

playFile = open('test.txt','wb')

for chuck in res.iter_content(100000):
    playFile.write(chuck)

playFile.close()

注：res.raise_for_status()，requests.get()返回应该Response对象，可以调用raise_for_status()方法检查requests.get()是否成功，如果成功就什么都不做，如果下载文件出错，这就抛出异常。

3.用BeautifulSoup模块解析HTML

from bs4 import  BeautifulSoup

html = '''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''

soup = BeautifulSoup(html,'lxml')
print(soup.title)

或者

import requests

from bs4 import  BeautifulSoup

res = requests.get("https://www.cnblogs.com/zhaof/p/6930955.html")
res.raise_for_status()
soup = BeautifulSoup(res.text,'lxml')

print(soup.title)

或者

import requests
import bs4

res = requests.get("https://www.cnblogs.com/zhaof/p/6930955.html")
res.raise_for_status()
html = bs4.BeautifulSoup(res.text,'lxml')

print(html.title)

4.用selenium模块控制浏览器

selenium模块让Python直接控制浏览器，实际点击链接，填写登陆信息，就像是有一个人类与页面交互。

from selenium import webdriver

browser = webdriver.Chrome()

browser.get("http://www.baidu.com")
print(browser.page_source)
browser.close()

from selenium import webdriver

browser = webdriver.Chrome()

browser.get("http://www.taobao.com")
input_first = browser.find_element_by_id("q")
input_second = browser.find_element_by_css_selector("#q")
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first)
print(input_second)
print(input_third)
browser.close()