python入门011～python3爬虫爬取图片，爬取新闻网站文章并保存到数据库(1)

最新推荐文章于 2024-05-13 23:58:35 发布

2401_84584628

最新推荐文章于 2024-05-13 23:58:35 发布

阅读量308

点赞数 3

分类专栏：程序员文章标签： python 爬虫数据库

本文链接：https://blog.csdn.net/2401_84584628/article/details/138396031

版权

在这里插入图片描述

安装成功后就会出现在在安装列表中，到此就说明我们安装网络爬虫扩展库成功

在这里插入图片描述

二，由浅入深，我们先抓取网页

我们这里以抓取简书首页为例：http://www.jianshu.com/


# 简单的网络爬虫

from urllib import request

import chardet



response = request.urlopen("http://www.jianshu.com/")

html = response.read()

charset = chardet.detect(html)# {'language': '', 'encoding': 'utf-8', 'confidence': 0.99}

html = html.decode(str(charset["encoding"]))  # 解码

print(html)

由于抓取的html文档比较长，这里简单贴出来一部分给大家看下


<!DOCTYPE html>

<!--[if IE 6]><html class="ie lt-ie8"><![endif]-->

<!--[if IE 7]><html class="ie lt-ie8"><![endif]-->

<!--[if IE 8]><html class="ie ie8"><![endif]-->

<!--[if IE 9]><html class="ie ie9"><![endif]-->

<!--[if !IE]><!--> <html> <!--<![endif]-->



<head>

  <meta charset="utf-8">

  <meta http-equiv="X-UA-Compatible" content="IE=Edge">

  <meta name="viewport" content="width=device-width, initial-scale=1.0,user-scalable=no">



  <!-- Start of Baidu Transcode -->

  <meta http-equiv="Cache-Control" content="no-siteapp" />

  <meta http-equiv="Cache-Control" content="no-transform" />

  <meta n

最低0.47元/天解锁文章

2401_84584628

关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
python入门011～python3爬虫爬取图片，爬取新闻网站文章并保存到数据库(1)

这里数据是抓取到了，但是太乱了，并且还有很多不是我们想要的，下面就通过遍历来提炼出我们的有效信息。分析上图我们要抓取的信息再div中的a标签和img标签里，所以我们要想的就是怎么获取到这些信息。爬取到的数据目前只做展示，等我学完Python操作数据库以后会把爬取到的数据保存到数据库。这里就要用到我们导入的BeautifulSoup4库了，这里的关键代码。上面代码获取到的allList就是我们要获取的新闻列表，抓取到的如下。这就是Python3的爬虫简单入门，是不是很简单，建议大家多敲几遍。
复制链接

扫一扫