Python-抓取网页信息

1. 网址请求

import webbrowser,requests
webbrowser.open('url')#打开网址
req_obj=requests.get('url')#请求一个网址，返回一个request对象
req_obj.text#返回对象的text属性
req_obj.status_code==requests.codes.ok#检查请求状态是否正常，正常状态码200
req_obj.raise_for_status()#如果请求出错，抛出异常，终止程序
open('file','wb')#将下载文件保存到硬盘时，打开的文件需要用'wb'二进制打开
req_obj.iter_content(1000)#每次循环迭代中返回一段内容，bytes数据，输入参数指明多少字节

2. 内容解析

不建议使用正则表达解析HTML，可使用如BeautifulSoup专用模块

import bs4
bs4.BeautifulSoup()#输入字符串或文件，返回BeautifulSoup对象
elems=bs4.select()#寻找元素
type(elems)#返回elems类型列表
len(elems)#返回列表长度，表示匹配几次
elems[0].getText()#返回元素文本，开始和结束标签间
str(elems[0])#返回字符串，包括开始和结束标签
elems[0].attrs#返回字典，包含元素属性和值
elems.get('')#输入属性名，返回属性值
urls.endswith('str')#判读URL是否以输入str结束

3. 浏览器控制

selenium模块可以完全控制浏览器，需搭配FireFox浏览器

from selenium import webdriver
web_obj=webdriver.FireFox()#启动浏览器
web_obj.find_element_*#返回webelement_*对象
web_obj.find_element_*#返回webelement_*对象列表