python学习爬虫（1）--环境搭建Python+requests+BeautifulSoup

最新推荐文章于 2021-03-19 00:14:09 发布
最新推荐文章于 2021-03-19 00:14:09 发布
阅读量217 收藏 1
点赞数
分类专栏： Python爬虫 文章标签： Python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31315135/article/details/88685424
版权

作者:IT 小样
爬虫，spider，通过爬虫程序可以爬取到网页你所需要的信息。实现爬虫程序的方法很多，本系列文主要介绍通过Python3+requests+BeautifulSoup来实现代码。
本篇简单介绍一下爬虫流程以及环境搭建

爬虫流程

发起请求——>获取响应数据——>解析数据后获取
发起请求获取响应数据，可以通过requests库来实现，而解析数据可以通过BeautifulSoup库来实现。这两个库使用起来相比其他方法会更简单便捷。

安装python

首先下载Python安装包，建议直接安装python3，最新版本即可。在安装时注意勾选添加路径至系统路径中，这样可以直接在命令行运行python命令而不用切换路径。

安装requests库

可以直接pip安装，pip install requests

安装BeautifulSoup

pip安装，pip install bs4
使用BeautifulSoup时，需要from bs4 import BeautifulSoup
此处还需要pip安装解析器 lxml，pip install lxml
安装lxml解析器的原因是因为其比Python自带的html.parser解析器效率更高,建议安装。

至此，基本上环境已经搭建完毕。

下一篇：Python学习爬虫（2）–requests库

IT小样
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫实战：从爬取数据到pyecharts画图
weixin_43270242的博客
08-09 2336
emmmm 这算是一个对人家博客的完善吧，主要是从这个博主的代码思路自己一点一点的完善着写，原文链接如下： https://equationliu.github.io/2018-12-9-chargebar/ 这个实战项目主要是从北汽爬取北京市的充电站位置信息，然后将这些位置信息利用百度api进行地址编码返回经纬度，然后再根据经纬度，使用pyecharts画出北京市充电站分布地图，接下来我将会进行详细的分析 爬取数据 ...
Python实训day04am【爬虫介绍、爬取网页测试、Python第三方库】
upward
01-07 7780
Python实训
python网络爬虫Simple(2) requests和beautifulsoup4安装和使用
afei8080的专栏
12-13 721
1 requests 1.1 requests packages简介 requests. 库 基于 urllib开发。 requests的主要方法： requests.request() 构造一个请求，支持以下各种方法 requests.get() 获取html的主要方法 requests.head() 获取html头部信息的主要方法 requests.post() 向html网页提交post请求...
python爬虫方向的第三方库_python网络爬虫（四）python第三方库BeautifulSoup4的安装及测试...
weixin_39959615的博客
11-21 182
一、安装1.以管理员身份启动cmd2.输入口令：python -m pip install beautifulsoup4 敲回车 我在这给大家提个醒，配置环境真的很费时间，中间会出现各种问题，一定不要心急，心急吃不了热豆腐呀~但是python库安装我认为遇到的问题都是一样的，就是超时，我是一直不断地让它安装，反反复复7/8次，不着急，超时就让它超时，能安装一点是一点，到最后肯定能安装好~ 给大家...
Python深度学习笔记第一周
frank______123的博客
11-11 325
第一章 Python入门有关类的介绍NumPy导入NumPy生成NumPy数组NumPy 的算术运算NumPy的N维数组广播访问元素Matplotlib绘制简单图形pyplot中一些函数的功能显示图像 有关类的介绍 用户自己定义类，将会创建新的数据类型，同时可以定义相关类的函数和属性。 Python中的class可以定义类： class 类名： def __int__(self,参数,...): # 构造函数 ... def 方法名1(self, 参数, …): # 方法1 ... d
如何用Python + Requests + BeautifulSoup构建最强大的爬虫
03-30
如何用Python + Requests + BeautifulSoup构建最强大的爬虫 Scrapy框架入门指南：打造高效、可扩展的爬虫系统
基于Python的爬虫案例-软科中国大学TOP200
最新发布
05-21
计算机专业精品课程设计&Python经典爬虫资源，基于Python的爬虫案例——软科中国大学TOP200，该爬虫案例的基本代码结构如下： 指定目标URL：你需要指定要爬取的网页URL，例如软科中国最好大学排名的页面。 发送HTTP...
【python网络爬虫】-构建免费代理池
11-07
【python网络爬虫】-构建免费代理池 # 导入requests模块 import requests # 从bs4中导入BeautifulSoup模块 from bs4 import BeautifulSoup # 定义获取代理地址的方法 def get_proxy(pages, ua): # 定义proxy_ips...
Python爬虫实战（Requests+BeautifulSoup版）
06-14
本课程是一个Python爬虫实战课程，课程主要使用Requests+BeautifulSoup实现爬虫，课程包括五个部分： 第一部分：CSS选择器，主要讲解类选择器，ID选择器，标签选择器，伪类和伪元素，以及组合选择器等。 第二部分：...
【python网络爬虫】-制作词云图
11-01
【python网络爬虫】-制作词云图 # 使用import导入requests模块 import requests # 从bs4中导入BeautifulSoup from bs4 import BeautifulSoup # 使用import导入jieba模块 import jieba # 从pyecharts.charts中导入...
python爬虫需要的第三方库_python3第三方爬虫库BeautifulSoup4安装教程
weixin_39601657的博客
11-26 160
Python3安装第三方爬虫库BeautifulSoup4，供大家参考，具体内容如下在做Python3爬虫练习时，从网上找到了一段代码如下：#使用第三方库BeautifulSoup，用于从html或xml中提取数据from bs4 import BeautifulSoup自己实践后，发现出现了错误，如下所示：以上错误提示是说没有发现名为“bs4”的模块。即“bs4”模块未安装。进入Python安装...
Python爬虫requests和beautifulsoup4库使用
Bulut0907
11-16 3491
目录1. requests.get(url)2. 获取text 1. requests.get(url) import requests response = requests.get("https://www.baidu.com") print(type(response)) # <class 'requests.models.Response'> 2. 获取text import requests response = requests.get("https://www.baidu.
python爬虫需要的第三方库_python怎么安装requests、beautifulsoup4等第三方库
weixin_39739404的博客
11-26 79
javascript&colon;history&period;go&lpar;&rpar;和History&period;back&lpar;&rpar;的区别&lpar;转载&rpar;javascript:history.go()和History.back()的区别
一个简单的Python实现数据爬取实例
weixin_44794371的博客
01-22 2337
Python网络爬虫实现数据爬取实例1.环境准备：2.准备User Agent：3.网站分析:4.代码编写5.完整代码 1.环境准备： 由于我无法访问到Python的官网，于是在网上随便下载了一个.exe文件，安装时可以勾选配置环境路径，就不用自己配置了，版本是3.9.1。 这次我们主要使用的是Python3的requests和BeautifulSoup4两个库，可以通过pip命令进行安装，这里注意pip命令直接在用户的路径下使用即可。 pip install requests pip install b
利用requests库、beautifulsoup、pyecharts爬取中国天气网并且进行可视化
、Lu的博客
07-01 8551
1.安装环境 (1) requests库(负责数据爬取)：pip install requests (2) beautifulsoup(负责数据解析)：pip install bs4 (3) pyecharts(负责数据可视化)： pip install pyecharts 【补充】pyecharts在github上的仓库地址为：https://github.com/pyecharts/pyecharts ，需要的可以自行去学习，很容易上手。 以安装以上环境的可忽略 2.爬虫代码 # .
echarts mysql scrapy,利用请求数据库、靓汤和pyecharts对中国天气网进行抓取和可视化,requests,beautifulsouppyecharts,爬取,并且...
weixin_28936857的博客
03-19 96
1.安装环境(1) requests库(负责数据爬取)：pip install requests(2) beautifulsoup(负责数据解析)：pip install bs4(3) pyecharts(负责数据可视化)： pip install pyecharts【补充】pyecharts在github上的仓库地址为：https://github.com/pyecharts/pyecharts...
Python学习爬虫（4）--BeautifulSoup中Tag及NavigableSting详细介绍
weixin_31315135的博客
03-26 3970
作者：IT小样 上一篇简单的举例了BeautifulSoup的初级使用，本篇详细介绍BeautifulSoup的深一级用法。
python学习爬虫（6）--BeautifulSoup搜索文档树:find_all(),find(),find_parents()等
weixin_31315135的博客
03-28 2213
作者：IT小样 通过之前的系列我们现在已经了解了BeautifulSoup的属性、操作，现在我们来一起学习一下如何搜索文档树。 1、find_all（）方法 find_all()方法，找到所有匹配，关于传入参数，可以传入各种类型，接下来介绍不同过滤器。 1.1、过滤器 1.1.1、字符串过滤器 仍然以之前的html_doc为例，来进行示范： html_doc = ''' <html>&...
python学习爬虫（5）--BeautifulSoup遍历文档树：.contens, .children, .descendants等
weixin_31315135的博客
03-28 1435
作者：IT小样 本篇主要介绍对BeautifulSoup的引用，以之前教程中的HTML为例： html_doc = ''' <html><head><title>hello,tester</title></head><body> <p class="title"><b><h1>Hello,w...
python爬虫requests +beautifulsoup+pandas下载信息
06-28
### 回答1： Python爬虫是一种自动化程序，可以通过requests和beautifulsoup等库来获取网页信息，并使用pandas等工具对数据进行处理和分析。使用Python爬虫可以快速获取大量数据，帮助我们进行数据挖掘和分析。 ### 回答2： Python是一种强大的编程语言，在网络爬虫方面也有着广泛应用。requests、BeautifulSoup和Pandas就是其中的三个非常重要的工具，它们各自的功能和作用如下： Requests（请求）：是一个Python中的HTTP库，可以轻松的发送HTTP请求，并且可以很容易地获取返回的内容。如果你想获取一个网页的HTML代码，你可以使用Requests库。你需要向requests.get()方法传递一个URL，然后它会返回一个response对象，可以通过response.text来获取文本内容。 BeautifulSoup（漂亮的汤）：是Python一个解析HTML和XML文件的库，它可以从这些文件中提取有用的信息。所以，你可以使用BeautifulSoup来提取网页中的信息。通过BeautifulSoup库可以把一个已经读入python中的response响应文件对象进行分析，也就是通过一些HTML标签（soup.a/b/p/div），来获取我们想要的内容。 Pandas（熊猫）：是一个强大的数据分析工具，其核心是用于数据处理和矩阵计算的高效核心数据结构Dataframe。使用Pandas库可以很容易地从文本文件中导入数据，然后进行数据清洗、规整、合并、并统计数据等等各类操作。下面我们详细介绍一下这些库的用法。 在进行数据抓取之前，我们首先需要对需要抓取的数据进行需求分析，即确定需要抓取的网站、需要抓取的数据点和格式，以及需要进行的数据处理方式和数据储存方式等。当我们完成了需求分析之后，就可以开始进行数据抓取了。 首先我们需要安装requests、BeautifulSoup和Pandas库： ```python pip install requests pip install BeautifulSoup4 pip install pandas ``` 然后我们可以使用以下代码，来展示如何进行数据抓取： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 请求URL并将结果解析为HTML url = 'https://movie.douban.com/top250' resp = requests.get(url) html_data = resp.text soup = BeautifulSoup(html_data, 'html.parser') # 获取电影名称和评分信息 movie_list = soup.find_all('div', class_='hd') title_list = [movie.a.span.text for movie in movie_list] rating_list = [movie.find_next_siblings('div')[0].span.text for movie in movie_list] # 构建DataFrame并将结果保存为CSV文件 movie_df = pd.DataFrame({'title': title_list, 'rating': rating_list}) movie_df.to_csv('top250_movies.csv', index=False) ``` 通过以上代码，我们可以获取到豆瓣电影Top250的电影名称和评分信息，并将结果储存为CSV文件。 总之，requests、BeautifulSoup和Pandas是Python网络爬虫中非常常用的工具。使用这些库，我们可以轻松地进行数据抓取、数据提取、数据处理和数据储存等操作。同时，我们在进行爬虫之前，一定要注意合法性和尊重原网站的规则。 ### 回答3： Python是目前最流行的编程语言之一，其生态系统非常丰富，可以应用于各种领域。其中，爬虫是Python应用广泛的领域之一。在Python爬虫中，requests、beautifulsoup和pandas都是非常常用的库。 requests是一个用于HTTP请求的Python库，可以方便地发送网络请求，并且可以处理响应数据。在Python爬虫中，我们通常使用requests库下载网页内容。例如，我们可以使用requests库的get方法获取网页内容，如下所示： ``` import requests response = requests.get('http://www.baidu.com') print(response.text) ``` beautifulsoup是一个解析HTML和XML文档的Python库，可以方便地从网页中提取所需的数据。使用beautifulsoup库，我们可以方便地解析从网页中提取的数据，并进行数据清洗和处理。例如，我们可以使用beautifulsoup库的find_all方法查找特定标签中的文本内容，如下所示： ``` from bs4 import BeautifulSoup import requests response = requests.get('http://www.baidu.com') soup = BeautifulSoup(response.text, 'html.parser') print(soup.find_all('a')) ``` pandas是一个用于数据分析和处理的Python库，提供了许多有用的功能，例如读取、处理和分析数据。在Python爬虫中，我们通常使用pandas库来处理从网页中提取的数据，并将其保存到CSV文件或数据库中以供进一步分析。例如，我们可以使用pandas库的read_html方法读取HTML表格数据，并将其保存为CSV文件，如下所示： ``` import pandas as pd url = 'http://www.example.com' tables = pd.read_html(url) df = tables[0] df.to_csv('example.csv', index=False) ``` 综上所述，Python爬虫中的requests、beautifulsoup和pandas库是非常重要的工具，能够帮助我们方便地下载网页内容、提取数据和进行数据处理和分析。如果您有兴趣学习Python爬虫，那么这些库将是您必须掌握的重要工具之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值