这是一个完整的Python项目,用于从Bilibili网站上抓取电影排行榜数据,并将数据存储到Excel文件中,然后进行数据可视化。
首先申明,我从来没有系统学习过python,所以这个只是一个简单的python如何上手的学习笔记,灵感来源与Python爬虫以及数据可视化分析_python爬虫分析图-CSDN博客
我接下来讲述的是这个项目如何运行以及中间出现的一些报错如何解决,能让你对python和爬虫有一个基础的认知,同时能在此基础上按照自己的要求编写一个简单的python项目。
这是一个完整的Python项目,用于从Bilibili网站上抓取电影排行榜数据,并将数据存储到Excel文件中,然后进行数据可视化。
python和爬虫分别是什么?
官方解释为:Python是一种高级编程语言,因其简洁易读的语法和强大的功能而广受欢迎。它适用于各种编程任务,包括Web开发、数据分析、人工智能、自动化脚本等。Python的设计哲学强调代码的可读性和简洁性,使得开发者可以用更少的代码实现更多的功能。简单来讲就是生态环境很好,很容易上手一门编程语言。
爬虫(Web Crawler),也称为网络蜘蛛或网络机器人,是一种自动化程序,用于浏览和收集互联网上的网页内容。爬虫通过模拟人类浏览器的行为,自动访问网页并提取其中的数据。爬虫的应用非常广泛,包括搜索引擎索引、数据采集、市场分析等。
Python和爬虫的关系:
Python因其丰富的库和框架,非常适合编写爬虫程序。
以下是一些常用的Python库,用于爬虫开发:(接下来的学习中会用到,所以简单学习一下)
- Requests:用于发送HTTP请求,获取网页内容。
- BeautifulSoup:用于解析HTML和XML文档,提取数据。
- Scrapy:一个强大的爬虫框架,提供了很多高级功能,如自动处理请求、数据存储等。
- Selenium:用于自动化浏览器操作,适合处理需要JavaScript渲染的网页。
如何完成这个项目在本地的运行和修改:
首先先创建一个空项目,特别简单(选file然后选pure python )


然后直接点击创建就创建好了一个空项目,创建好的空项目结构如下:

这个时候我们直接导入代码:(将代码放入main.py文件中)
我等会会讲代码是什么意思,我们先将代码运行起来,在本地运行上
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import re
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib import font_manager
from matplotlib import rcParams
de

最低0.47元/天 解锁文章


被折叠的 条评论
为什么被折叠?



