莫烦Python --应用实例
REF: https://morvanzhou.github.io/tutorials/data-manipulation/scraping/
Python 正则表达式--讲解
REF: http://www.runoob.com/python/python-reg-expressions.html
Beautiful Soup 4.4.0 文档--讲解
REF: https://beautifulsoup.readthedocs.io/zh_CN/latest/
正则表达式修饰符 - 可选标志
正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志:
修饰符 | 描述 |
---|---|
re.I | 使匹配对大小写不敏感 |
re.L | 做本地化识别(locale-aware)匹配 |
re.M | 多行匹配,影响 ^ 和 $ |
re.S | 使 . 匹配包括换行在内的所有字符 |
re.U | 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B. |
re.X | 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。 |
正则表达式模式
模式字符串使用特殊的语法来表示一个正则表达式:
字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
多数字母和数字前加一个反斜杠时会拥有不同的含义。
标点符号只有被转义时才匹配自身,否则它们表示特殊的含义。
反斜杠本身需要使用反斜杠转义。
由于正则表达式通常都包含反斜杠,所以你最好使用原始字符串来表示它们。模式元素(如 r'\t',等价于 '\\t')匹配相应的特殊字符。
下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数,某些模式元素的含义会改变。
模式 | 描述 |
---|---|
^ | 匹配字符串的开头 |
$ | 匹配字符串的末尾。 |
. | 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。 |
[...] | 用来表示一组字符,单独列出:[amk] 匹配 'a','m'或'k' |
[^...] | 不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。 |
re* | 匹配0个或多个的表达式。 |
re+ | 匹配1个或多个的表达式。 |
re? | 匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式 |
re{ n} | 精确匹配 n 个前面表达式。例如, o{2} 不能匹配 "Bob" 中的 "o",但是能匹配 "food" 中的两个 o。 |
re{ n,} | 匹配 n 个前面表达式。例如, o{2,} 不能匹配"Bob"中的"o",但能匹配 "foooood"中的所有 o。"o{1,}" 等价于 "o+"。"o{0,}" 则等价于 "o*"。 |
re{ n, m} | 匹配 n 到 m 次由前面的正则表达式定义的片段,贪婪方式 |
a| b | 匹配a或b |
(re) | 匹配括号内的表达式,也表示一个组 |
(?imx) | 正则表达式包含三种可选标志:i, m, 或 x 。只影响括号中的区域。 |
(?-imx) | 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。 |
(?: re) | 类似 (...), 但是不表示一个组 |
(?imx: re) | 在括号中使用i, m, 或 x 可选标志 |
(?-imx: re) | 在括号中不使用i, m, 或 x 可选标志 |
(?#...) | 注释. |
(?= re) | 前向肯定界定符。如果所含正则表达式,以 ... 表示,在当前位置成功匹配时成功,否则失败。但一旦所含表达式已经尝试,匹配引擎根本没有提高;模式的剩余部分还要尝试界定符的右边。 |
(?! re) | 前向否定界定符。与肯定界定符相反;当所含表达式不能在字符串当前位置匹配时成功 |
(?> re) | 匹配的独立模式,省去回溯。 |
\w | 匹配字母数字及下划线 |
\W | 匹配非字母数字及下划线 |
\s | 匹配任意空白字符,等价于 [\t\n\r\f]. |
\S | 匹配任意非空字符 |
\d | 匹配任意数字,等价于 [0-9]. |
\D | 匹配任意非数字 |
\A | 匹配字符串开始 |
\Z | 匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串。 |
\z | 匹配字符串结束 |
\G | 匹配最后匹配完成的位置。 |
\b | 匹配一个单词边界,也就是指单词和空格间的位置。例如, 'er\b' 可以匹配"never" 中的 'er',但不能匹配 "verb" 中的 'er'。 |
\B | 匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er',但不能匹配 "never" 中的 'er'。 |
\n, \t, 等. | 匹配一个换行符。匹配一个制表符。等 |
\1...\9 | 匹配第n个分组的内容。 |
\10 | 匹配第n个分组的内容,如果它经匹配。否则指的是八进制字符码的表达式。 |
正则表达式实例
字符匹配
实例 | 描述 |
---|---|
python | 匹配 "python". |
字符类
实例 | 描述 |
---|---|
[Pp]ython | 匹配 "Python" 或 "python" |
rub[ye] | 匹配 "ruby" 或 "rube" |
[aeiou] | 匹配中括号内的任意一个字母 |
[0-9] | 匹配任何数字。类似于 [0123456789] |
[a-z] | 匹配任何小写字母 |
[A-Z] | 匹配任何大写字母 |
[a-zA-Z0-9] | 匹配任何字母及数字 |
[^aeiou] | 除了aeiou字母以外的所有字符 |
[^0-9] | 匹配除了数字外的字符 |
特殊字符类
实例 | 描述 |
---|---|
. | 匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符,请使用象 '[.\n]' 的模式。 |
\d | 匹配一个数字字符。等价于 [0-9]。 |
\D | 匹配一个非数字字符。等价于 [^0-9]。 |
\s | 匹配任何空白字符,包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 |
\S | 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 |
\w | 匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。 |
\W | 匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。 |
import xml
import re
from bs4 import BeautifulSoup
import lxml.html
import requests
import requests_cache
requests_cache.install_cache('demo_cache')
import urllib
from urllib.request import urlopen
#url = "http://www.baidu.com"
url = "http://www.runoob.com/w3cnote/python-spider-intro.html"
#url = "https://morvanzhou.github.io/static/scraping/basic-structure.html"
"""
print ("第二种方法")
request_1 = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request_1.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request_1)
#print (response2.read().decode("utf-8"))
#decode("utf-8"))是对response2.read()内容格式进行转换“utf-8”。
print (response2.getcode())
print (len(response2.read()))
"""
#html = response2.read().decode("utf-8")
html = urlopen(url).read().decode('utf-8')
#创建 Beautiful Soup 对象
soup = BeautifulSoup(html, features="lxml")
#打开本地 HTML 文件的方式来创建对象
#soup = BeautifulSoup(open('index.html'))
#格式化输出 soup 对象的内容
print (soup.prettify())
print (soup.title)
# <title>The Dormouse's story</title>
print (soup.head)
# <head><title>The Dormouse's story</title></head>
print (soup.a)
# <a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>
print (soup.p)
# <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
print (type(soup.p))
# <class 'bs4.element.Tag'>
print(soup.h1)
#<h1><a href="/">菜鸟教程 -- 学的不仅是技术,更是梦想!</a></h1>
#------------------------------BeautifulSoup 解析网页: 基础------------------------------------
# REF: https://morvanzhou.github.io/tutorials/data-manipulation/scraping/2-01-beautifulsoup-basic/
all_href = soup.find_all('a')
#all_href = [l['href'] for l in all_href if(l.has_key('href'))]
all_href = [l['href'] for l in all_href if(l.has_attr('href'))]
#UserWarning: has_key is deprecated. Use has_attr("href") instead.
print('\n', all_href, '\n')
#output
# ['https://morvanzhou.github.io/', 'https://morvanzhou.github.io/tutorials/data-manipulation/scraping/']
#['/', '//www.runoob.com/', '/w3cnote', '/w3cnote_genre/android', '/w3cnote/es6-tutorial.html', .....
# ... '//www.runoob.com/w3cnote/runoob-user-test-intro.html#invite', 'javascript:;']
for m in all_href:
print(m)
#output:
"""
/
//www.runoob.com/
/w3cnote
/w3cnote_genre/android
/w3cnote/es6-tutorial.html
/w3cnote_genre/coderlife
/w3cnote_genre/joke
...
//www.runoob.com/w3cnote/runoob-user-test-intro.html#invite
javascript:;
"""
#------------------------------BeautifulSoup 解析网页: 基础 end------------------------------------
#------------------------------BeautifulSoup 解析网页: CSS------------------------------------
# https://morvanzhou.github.io/tutorials/data-manipulation/scraping/2-02-beautifulsoup-css/
# use class to narrow search
#按 Class 匹配很简单. 比如我要找所有 class=month 的信息. 并打印出它们的 tag 内文字.
#month = soup.find_all('li', {"class": "month"})
month = soup.find_all('li', {"class": "form-inline"})
for m in month:
print(m.get_text(),'\n')
#output:
"""
昵称昵称 (必填)
邮箱邮箱 (必填)
引用地址引用地址
"""
#或者找到 class=jan 的信息. 然后在 <ul> 下面继续找 <ul> 内部的 <li> 信息.
#这样一层层嵌套的信息, 非常容易找到.
#jan = soup.find('ul', {"class": 'jan'})
jan = soup.find('div', {"class": 'col nav'})
#d_jan = jan.find_all('li') # use jan as a parent
d_jan = jan.find_all('ul') # use jan as a parent
for d in d_jan:
print(d.get_text())
#output:
"""
首页
笔记首页
Android
ES6 教程
程序员人生
程序员笑话
编程技术
首页
Android
ES6
逗乐
Search
"""
#------------------------------BeautifulSoup 解析网页: 正则表达-------------------------
#REF: https://morvanzhou.github.io/tutorials/data-manipulation/scraping/2-03-beautifulsoup-regex/
#<td>
# <img src="https://morvanzhou.github.io/static/img/course_cover/tf.jpg">
#</td>
#img_links = soup.find_all("img", {"src": re.compile('.*?\.jpg')})
#for link in img_links:
# print(link['src'])
#<div class="cate-items">
#<a href="http://www.runoob.com/ado" title="ADO,即 ActiveX 数据对象(ActiveX Data Objects),
# 是微软公司提出的应用程序接口,用于访问关系或非关系数据库中的数据。">ADO 教程</a>
www_runoobs = soup.find_all("a", {"href": re.compile('http://www.runoob.com.*?')})
for link in www_runoobs:
print(link['href'])
#output:
"""
http://www.runoob.com/w3cnote/python-docstrings.html
http://www.runoob.com/w3cnote/c-get-keycode.html
http://www.runoob.com/ado
http://www.runoob.com/ajax
http://www.runoob.com/android
http://www.runoob.com/angularjs2
http://www.runoob.com/angularjs
http://www.runoob.com/appml
http://www.runoob.com/asp
http://www.runoob.com/aspnet
http://www.runoob.com/bootstrap
...
http://www.runoob.com/w3cnote/shell-summary-brackets.html
http://www.runoob.com/w3cnote/java-sorting-algorithm-analysis-and-implementation.html
http://www.runoob.com/cplusplus/cpp-examples-calculator-switch-case.html
http://www.runoob.com/cplusplus/cpp-examples-lcm.html
"""