Python爬虫学习-简单爬取网页数据

最新推荐文章于 2024-09-19 10:02:44 发布
最新推荐文章于 2024-09-19 10:02:44 发布
阅读量1.7w 收藏 82
点赞数 18
分类专栏： 面试 学习路线 阿里巴巴 文章标签： android 前端 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67403073/article/details/126078008
版权
本文介绍了一位开发者在疫情宅家期间学习Python爬虫的过程，通过实例展示了如何使用BeautifulSoup和requests库抓取网页数据，并将其存入MySQL数据库。详细讲解了爬取网页数据的步骤，包括获取HTML内容、解析HTML、提取文本信息以及完整的爬虫代码示例。
摘要由CSDN通过智能技术生成

疫情宅家无事，就随便写一些随笔吧QwQ…

这是一篇介绍如何用Python实现简单爬取网页数据并导入MySQL中的数据库的文章。主要用到BeautifulSoup requests 和 pymysql。

以网页https://jbk.39.net/mxyy/jbzs/为例，假设我们要爬取的部分数据如下图所示：
![在这里插入图片描述](https://img-blog.csdnimg.cn/048e76ad710242a5b7737714b0f11f1b.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXz

一、准备工作

1.导入BeautifulSoup和requests库：

from bs4 import BeautifulSoup
import requests

2.要想获得网页html内容，我们首先需要用requests库的.get()方法向该网页的服务器构造并发送一个请求。requests.get()方法需要传递两个参数，一个是网页的url，在这里显然是https://jbk.39.net/mxyy/jbzs/；另一个参数是浏览器的header。查看方法如下：
点击进入任意一个网页页面，按F12进入

最低0.47元/天 解锁文章
m0_67403073
关注
专栏目录
Java面试基础篇
m0_67392010的博客
07-29 3793
先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。深知大多数初中级java工程师，想要升技能，往往是需要自己摸索成长或是报班学习，但对于培训机构动则近万元的学费，着实压力不小。因此我收集了一份《java开发全套学习资料》送给大家，初衷也很简单，就是希望帮助到想自学又不知道该从何学起的朋友，同时减轻大家的负担。Java的强引用、弱引用、软引用、虚引用。Java语言基础常识。Java12新特性。JavaIO详解。...
MySQL的Join使用
慢慢来比较快
12-13 6万+
在MySQL(以5.1为例)中，表连接的语法可以参见MySQL官方手册：MySQL官方手册-JOIN 在查询中，连接的语法类似 SELECT select_expr FROM table_references table_references（对表的引用）的定义如下（也可以看成连接表达式）：（晕晕晕哈） table_references: table_referen
Python爬虫（2） --爬取网页页面
m0_74896766的博客
07-21 3401
本篇介绍了：如何爬取网页的一个页面。指定url发送请求：requests请求方法UA伪装：使用fake_useragent包，为自己提供身份获取想要的数据：将数据接收处理。
Python指南：六步教你如何使用python爬虫爬取数据
最新发布
WANGWUSAN66的博客
09-19 1979
找到网页上的Network部分。然后，我们浏览Name这部分，找到我们想要爬取的文件，鼠标右键，选择copy，复制下网页的URL。由于我们需要的是网页上的一类信息，所以我们需要对获取的地址进行分析，提取。用左上角的小框带箭头的标志，如下图，点击网页内容，这个时候网页就会自动在右边显示出你获取网页部分对应的代码。不过没有js类语言基础也没关系，主要步骤就是，保留相同的部分就行，慢慢的试，总会对的。如上图所示，我们在找到想要爬取的页面部分的网页代码后，将鼠标放置于代码上，右键，copy到selector部分。
@RequestBody的使用
热门推荐
JustryDeng
07-09 102万+
提示：建议一定要看后面的@RequestBody的核心逻辑源码以及六个重要结论！本文前半部分的内容都是一些基 本知识常识，可选择性跳过。 声明：本文是基于SpringBoot，进行的演示说明。 基础知识介绍： @RequestBody主要用来接收前端传递给后端的json字符串中的数据的(请求体中的数据的)；GET方式无请求体，所以使用@RequestBo...
自如java面试
qq_33779754的博客
09-28 2875
 java8 java11的特性（流 相关的）  b树 b+树 以及红黑树的区别  工厂模式   三次握手（一定要背会）  valitile重排序的底层代码  cas  hashmap 和 concurrentHashmap 事务的四个特性  filter 和 interceptor的区别 @autowi...
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements（数据库）
寅月十八的博客
03-02 316
问题描述 在MySQL设置密码时，一直报错 产生原因 在查阅资料后，可以得知是由于没有遵循MySQL的初始密码设置规则引起的 解决办法 1.进入mysql中查看 mysql 初始的密码策略 SHOW VARIABLES LIKE 'validate_password%； 相关参数含义 validate_password_check_user_name 检查登录用户是否合法 ...
python 爬虫开发--爬取某站小视频之获取动态请求数据demo源码.zip
02-02
本示例将探讨如何使用Python爬虫来抓取特定网站的小视频的动态请求数据。动态请求数据通常指的是通过JavaScript或者API接口加载的数据，而非静态HTML页面中的内容。以下是对这个主题的详细讲解： 首先，我们需要...
精选_python爬虫--爬取网站中的多个网页_源码打包
03-12
Python爬虫技术是一种用于自动化获取网页内容的工具...总的来说，这个资源提供了学习和实践Python爬虫的良好起点，特别是对于想要爬取多个网页的场景。通过深入理解并运用其中的源码，可以提升你在爬虫开发方面的技能。
python 爬虫开发--爬取某站小视频随机生成浏览器的头部信息demo源码.zip
02-02
在Python爬虫开发中，有时候我们需要模拟浏览器行为来爬取网页数据，特别是在处理登录、反爬虫策略或者JavaScript渲染的网站时。这个压缩包提供的"python 爬虫开发--爬取某站小视频随机生成浏览器的头部信息demo源码...
python 爬虫开发--爬取ZX课程写入Mysql demo源码+注解清晰一看就懂.zip
02-02
通过阅读和实践这个demo，你可以掌握Python爬虫的基本流程，以及如何将爬取的数据存储到关系型数据库中。 总的来说，Python爬虫开发结合了网络请求、HTML解析、数据处理和数据库操作等多方面技能。本教程的目的是让...
ERROR 1819 (HY000) Your password does not satisfy the current policy requirements
m0_67393413的博客
07-31 785
其中，validate_password_number_count指定了密码中数据的长度，validate_password_special_char_count指定了密码中特殊字符的长度，validate_password_mixed_case_count指定了密码中大小字母的长度。，更改密码成功后才能查看validate_password插件的以下参数，当然，validate_password插件必须已经安装，MySQL5.7是默认安装的。mysql中初始密码长度为8，当你。并且设置简单好记的密码后。.
Centos ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
Machel_的博客
08-23 160
本篇文章是关于MYSQL修改密码为123456会出现报错的问题。然后修改最短密码限制（我发现很多博主没有做这一步）解决方法如下，修改MySQL的密码策略。出现问题的主要原因是。
mysql5.7 1819_mysql5.7 ERROR 1819 (HY000): Your password does not satisfy the current policy requir...
weixin_42123191的博客
01-19 4729
mysql5.7初次登录使用提示ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.需要重置密码。。。重置就重置吧，我日结果又说我密码不安全，什么鬼，不得不说5.7的安全措施做的很到位，往往安全和方便是背道而行的。mysql> a...
mysql5.7 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
weixin_43172032的博客
06-21 550
@[TOC](mysql5.7 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements) mysql5.7 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements 问题描述 问题一： mysql5.7 新建用户时提示ERROR 1819 (HY000): Your password does
MySQL 8.0 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
追梦i赤子心的博客
12-08 1173
MySQL 8.0 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
MYSQL七种关系图
weixin_44747858的博客
07-31 1340
MYSQL七种查询关系。 CREATE TABLE t_blog( id INT PRIMARY KEY AUTO_INCREMENT, title VARCHAR(50), typeId INT ); SELECT * FROM t_blog; ±—±------±-------+ | id | title | typeId | ±—±------±-------+ | 1 | aaa | 1 | | 2 | bbb | 2 | | 3 | ccc |
mysql错误详解（1819）：ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
ssiyla的博客
10-03 1万+
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements 今天新安装了一个mysql5.7，想自己修改一个新密码，结果总是出现1819这个错误，后面查了一下，是因为mysql5.7对密码有一些新的要求：密码必须要有一定的复杂度。下面我就来解释一下如何修改数据库，让mysql5.7可以接受我们...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值