python爬虫数据可视化软件_python爬虫及数据可视化分析

1.前言

本篇文章主要介绍python爬虫及对爬取的数据进行可视化分析，本次介绍所用的网站是(https://www.duanwenxue.com/jingdian/zheli/)

2.数据爬取

2.1定位到爬取数据

打开我们要爬取的网页，右键选择检查，在窗口中单击左上角箭头，即可查看我们需要爬取的内容：

2.2爬虫实现方法

我们要爬取一个网页，首先我们需要向网页发送一个请求,然后用get方法抓取数据(例如我要爬取https://www.duanwenxue.com/jingdian/zheli/的内容)

import requests

url = 'https://www.duanwenxue.com/article/5034441.html'

doc = requests.get(url)

print(doc.text)1

2

3

4

通过这个方法获得数据是整个网页的源码，接下来我们，接下来要从源码中找到并提取数据。Beautiful Soup 是 python 的一个库，其最主要的功能是从网页中抓取数据。(例如我要获得https://www.duanwenxue.com/article/5035160.html的散文)

import requests

from bs4 import BeautifulSoup

url=