网易云课堂python网络爬虫视频源码及实现

本文链接：https://blog.csdn.net/cuit2016123070/article/details/83546617

代码截图：

（源代码在最下面）

import requests
res = requests.get('http://www.sina.com.cn/')
res.encoding = 'utf-8'
print(res.text)

######################################
# 用BeautifulSoup4剖析网页元素
from bs4 import BeautifulSoup
html_sample = ' \
<html> \
<body> \
<h1 id="title">Hello World</h1> \
<a href="#" class="link">This is link1</a> \
<a href="# link2" class="link">This is link2</a> \
</body> \
</html>'

soup = BeautifulSoup(html_sample)
print(soup.text)

########################################
# BeautifulSoup基础操作
# 使用select找出含有h1标签的元素
soup = BeautifulSoup(html_sample)
header = soup.select('h1') # 返回一个列表
print(header)
print(header[0])
print(header[0].text)

#######################################
# 使用select找出含有a的标签
soup = BeautifulSoup(html_sample)
alink = soup.select('a')
print(alink)
for link in alink:
    print(link)
    print(link.text)
    print(link['href'])

######################################
# 使用select找出所有id为title的元素(id前面需要加#)
alink = soup.select('#title')
print(alink)

#####################################
# 使用select找出所有class为link的元素(class前面需要加.)
soup = BeautifulSoup(html_sample)
for link in soup.select('.link'):
    print(link)

####################################
# 使用select找出所有a tag的href链接
alinks = soup.select('a')
for link in alinks:
    print(link['href']) # 原理：会把标签的属性包装成字典

####################################
# 观察如何抓取新浪新闻信息
# 抓取时间、标题、内容
import requests
from bs4 import Beau