一、安装requests库
安装命令:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
二、爬取页面
1. 检查按钮
2. 找到对应网址
三、HTML呈现爬取结果
1.分析需要提取的元素
2.编写代码
view.py
# 练习网络爬虫
import requests
def user_worm(request):
url = "http://www.chinaunicom.com.cn/api/article/NewsByIndex/2/2022/09/news"
res = requests.get(url=url)
data_list = res.text()
print(data_list)
return render(request, "user_worm.html", {"news": data_list})
user_worm.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>联通新闻列表</title>
</head>
<body>
<h1>联通新闻列表</h1>
<div>
<ul>
{% for i in news %}
<li>{{ i.news_title }}</li>
{% endfor %}
</ul>
</div>
</body>
</html>
注意:目前该网站反爬虫,观看视频学习就好,现在这个代码应该是无法爬取数据了。
传送门