python入门011～python3爬虫 爬取图片，爬取新闻网站文章并保存到数据库

<meta name="description"  content="简书是一个优质的创作社区，在这里，你可以任性地创作，一篇短文、一张照片、一首诗、一幅画……我们相信，每个人都是生活中的艺术家，有着无穷的创造力。">

<meta name="keywords"  content="简书,简书官网,图文编辑软件,简书下载,图文创作,创作软件,原创社区,小说,散文,写作,阅读">

…后面省略一大堆

这就是Python3的爬虫简单入门，是不是很简单，建议大家多敲几遍



[]( )三，Python3爬取网页里的图片并把图片保存到本地文件夹

------------------------------------------------------------------------------------------



目标



*   爬取百度贴吧里的图片

*   把图片保存到本地，都是妹子图片奥  

    不多说，直接上代码,代码里的注释很详细。大家仔细阅读注释就可以理解了

import re

import urllib.request

#爬取网页html

def getHtml(url):

page = urllib.request.urlopen(url)

html = page.read()

return html

html = getHtml(“http://tieba.baidu.com/p/3205263090”)

html = html.decode(‘UTF-8’)

#获取图片链接的方法

def getImg(html):

# 利用正则表达式匹配网页里的图片地址

reg = r'src="([.*\S]*\.jpg)" pic_ext="jpeg"'

imgre=re.compile(reg)

imglist=re.findall(imgre,html)

return imglist

imgList=getImg(html)

imgCount=0

#for把获取到的图片都下载到本地pic文件夹里，保存之前先在本地建一个pic文件夹

for imgPath in imgList:

f=open("../pic/"+str(imgCount)+".jpg",'wb')

f.write((urllib.request.urlopen(imgPath)).read())

f.close()

imgCount+=1

print(“全部抓取完成”)

迫不及待的看下都爬取到了些什么美图



![在这里插入图片描述](https://img-blog.csdnimg.cn/20190612104519609.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdXNoaV8xOTkw,size_16,color_FFFFFF,t_70)



就这么轻易的爬取到了24个妹子的图片。是不是很简单。



[]( )四，Python3爬取新闻网站新闻列表

--------------------------------------------------------------------------------



*   这里我们只爬取新闻标题，新闻url，新闻图片链接。

*   爬取到的数据目前只做展示，等我学完Python操作数据库以后会把爬取到的数据保存到数据库。



到这里稍微复杂点，就分布给大家讲解



*   1 这里我们需要先爬取到html网页上面第一步有讲怎么抓取网页

*   2分析我们要抓取的html标签



![在这里插入图片描述](https://img-blog.csdnimg.cn/20190612104533783.png)  

分析上图我们要抓取的信息再div中的a标签和img标签里，所以我们要想的就是怎么获取到这些信息



这里就要用到我们导入的BeautifulSoup4库了，这里的关键代码

使用剖析器为html.parser

soup = BeautifulSoup(html, ‘html.parser’)

获取到每一个class=hot-article-img的a节点

allList = soup.select(‘.hot-article-img’)

上面代码获取到的allList就是我们要获取的新闻列表，抓取到的如下

[

,

,

,

,

,

,

,

,

,

,

]

这里数据是抓取到了，但是太乱了，并且还有很多不是我们想要的，下面就通过遍历来提炼出我们的有效信息



*   3 提取有效信息

#遍历列表，获取有效信息

for news in allList:

aaa = news.select('a')

# 只选择长度大于0的结果

if len(aaa) > 0:

    # 文章链接

    try:#如果抛出异常就代表为空

        href = url + aaa[0]['href']

    except Exception:

        href=''

    # 文章图片url

    try:

        imgUrl = aaa[0].select('img')[0]['src']

    except Exception:

        imgUrl=""

    # 新闻标题

    try:

        title = aaa[0]['title']

    except Exception:

        title = "标题为空"

    print("标题",title,"\nurl：",href,"\n图片地址：",imgUrl)

    print("==============================================================================================")

这里添加异常处理，主要是有的新闻可能没有标题，没有url或者图片，如果不做异常处理，可能导致我们爬取的中断。  

###过滤后的有效信息

标题 标题为空

url： https://www.huxiu.com/article/211390.html

图片地址： https://img.huxiucdn.com/article/cover/201708/22/173535862821.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 TFBOYS成员各自飞，商业价值天花板已现？

url： https://www.huxiu.com/article/214982.html

图片地址： https://img.huxiucdn.com/article/cover/201709/17/094856378420.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 买手店江湖

url： https://www.huxiu.com/article/213703.html

图片地址： https://img.huxiucdn.com/article/cover/201709/17/122655034450.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 iPhone X正式告诉我们，手机和相机开始分道扬镳

url： https://www.huxiu.com/article/214679.html

图片地址： https://img.huxiucdn.com/article/cover/201709/14/182151300292.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 信用已被透支殆尽，乐视汽车或成贾跃亭弃子

url： https://www.huxiu.com/article/214962.html

图片地址： https://img.huxiucdn.com/article/cover/201709/16/210518696352.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 别小看“搞笑诺贝尔奖”，要向好奇心致敬

url： https://www.huxiu.com/article/214867.html

图片地址： https://img.huxiucdn.com/article/cover/201709/15/180620783020.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
/www.huxiu.com/article/214867.html

图片地址： https://img.huxiucdn.com/article/cover/201709/15/180620783020.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！