用python写爬虫（基础）（2）----了解网页构造，才能知道我究竟需要什么数据

最新推荐文章于 2024-05-16 13:23:09 发布

VIP文章又封ip了

最新推荐文章于 2024-05-16 13:23:09 发布

阅读量467

点赞数 1

分类专栏：初级爬虫系统学习文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/weixin_47278699/article/details/122342486

版权

知道了用requests去请求网页，这是爬取的第一步，当然了既然能够请求成功，自然我们可以知道了要进入网页去抓我们想要的数据。

要知道我们是从网页源代码当中找寻数据，而并非像一般的复制粘贴一样从浏览器表面获得。网页的构成无非是HTML、CSS、JavaScript三种语言构成，HTML 负责为网页添加内容，CSS 负责美化网页，JavaScript 负责让网页动起来。当然我们爬虫不需要将三大语言全部弄会，只需要知道几个特殊的标识符即可，所以爬虫是一个全方位的领域。

这是豆瓣网站的部分源代码：


<!DOCTYPE html>
<html lang="zh-cmn-Hans" class="ua-mac ua-webkit book-new-nav">
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>豆瓣图书 Top 250</title>
  </head>
  <body>
    <div class="global-nav-items">
      <a href="https://www.douban.com">豆瓣</a>
      <a href="https://book.douban.com">读书</a>
      <a href="https://movie.douban.com">电影</a>
      <a href="

最低0.47元/天解锁文章

又封ip了

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
1
评论
用python写爬虫（基础）（2）----了解网页构造，才能知道我究竟需要什么数据

知道了用requests去请求网页，这是爬取的第一步，当然了既然能够请求成功，自然我们可以知道了要进入网页去抓我们想要的数据。要知道我们是从网页源代码当中找寻数据，而并非像一般的复制粘贴一样从浏览器表面获得。网页的构成无非是HTML、CSS、JavaScript三种语言构成，HTML 负责为网页添加内容，CSS 负责美化网页，JavaScript 负责让网页动起来。当然我们爬虫不需要将三大语言全部弄会，只需要知道几个特殊的标识符即可，所以爬虫是一个全方位的领域。这是豆瓣网站的部分源代码：&
复制链接

扫一扫