02-python 爬虫中国诗词网的诗词标题和内容

主要参考两篇文章总结下这几天所学，小白入门O(∩_∩)O哈哈~     不喜勿喷

zhttps://blog.csdn.net/qq_40309183/article/details/80630910

https://blog.csdn.net/stormdony/article/details/79828842

目的： 为了实现提取中国诗词网的诗词的标的和内容

工具：beautifulsoup  个人感觉他就是为了替代正则表达式

简单总结下正则表达式：

text=“”“

12o=所得税的所得税法水电费水电费是发送到发送到发顺丰.jpg

”“”

r=r'12o(.*?.jpg)'     #关于.*? 叫啥贪婪匹配好像

# 还可以compile下reg=re.compile(r)

re.findall(r,text)

print(re.findall(r,text))

前面说了，然后后面又了解了下beautifulsoup，这里主要用这个东西

//

【1】源博客内容，后面是我修改后的

import urllib.request
from bs4 import BeautifulSoup
from urllib.request import urlopen
import re
import  sys


url = 'https://blog.csdn.net/stormdony'
# 获取对应网页的链接地址
#//
# 定义一个headers,存储刚才复制下来的报头,模拟成浏览器
headers = ('User-Agent',
           "Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:48.0) Gucko/20130101 Firefox/58.0")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
# 将opener安装为全局
urllib.request.install_opener(opener)
html = urllib.request.urlopen(url).read().decode('utf-8', 'ignore')
# print(html)
bs = BeautifulSoup(html, 'lxml')
# 用beautifulsoup的select,找到所有的<a>标签

linklist = links = bs.select('h4 > a')
#print(linklist)
# //

# 定义一个列表texts存储文章的标题
texts = []
# 定义一个列表links存储文章的链接
links = []
# 遍历linkllist,存储标题和链接
for link in linklist:
    texts.append(link.t