如何快速运行一个python爬虫项目 0基础直接上手 爬取分析数据并进行可视化处理 傻瓜式教程

这是一个完整的Python项目,用于从Bilibili网站上抓取电影排行榜数据,并将数据存储到Excel文件中,然后进行数据可视化。

首先申明,我从来没有系统学习过python,所以这个只是一个简单的python如何上手的学习笔记,灵感来源与Python爬虫以及数据可视化分析_python爬虫分析图-CSDN博客

我接下来讲述的是这个项目如何运行以及中间出现的一些报错如何解决,能让你对python和爬虫有一个基础的认知,同时能在此基础上按照自己的要求编写一个简单的python项目。

这是一个完整的Python项目,用于从Bilibili网站上抓取电影排行榜数据,并将数据存储到Excel文件中,然后进行数据可视化。

python和爬虫分别是什么?

官方解释为:Python是一种高级编程语言,因其简洁易读的语法和强大的功能而广受欢迎。它适用于各种编程任务,包括Web开发、数据分析、人工智能、自动化脚本等。Python的设计哲学强调代码的可读性和简洁性,使得开发者可以用更少的代码实现更多的功能。简单来讲就是生态环境很好,很容易上手一门编程语言。

爬虫(Web Crawler),也称为网络蜘蛛或网络机器人,是一种自动化程序,用于浏览和收集互联网上的网页内容爬虫通过模拟人类浏览器的行为,自动访问网页并提取其中的数据。爬虫的应用非常广泛,包括搜索引擎索引、数据采集、市场分析等。

Python和爬虫的关系:

Python因其丰富的库和框架,非常适合编写爬虫程序。 

以下是一些常用的Python库,用于爬虫开发:(接下来的学习中会用到,所以简单学习一下)

  1. Requests:用于发送HTTP请求,获取网页内容。
  2. BeautifulSoup:用于解析HTML和XML文档,提取数据。
  3. Scrapy:一个强大的爬虫框架,提供了很多高级功能,如自动处理请求、数据存储等。
  4. Selenium:用于自动化浏览器操作,适合处理需要JavaScript渲染的网页。

如何完成这个项目在本地的运行和修改:

首先先创建一个空项目,特别简单(选file然后选pure python )

 然后直接点击创建就创建好了一个空项目,创建好的空项目结构如下:

这个时候我们直接导入代码:(将代码放入main.py文件中)

我等会会讲代码是什么意思,我们先将代码运行起来,在本地运行上

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import re
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib import font_manager
from matplotlib import rcParams


de
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值