关闭

Python学习笔记之简单爬虫

标签: python函数爬虫正则表达式图片
573人阅读 评论(0) 收藏 举报
分类:

所谓的爬虫就是通过代码的方式,抓取网站上的你想要的任何信息,
比如你在网上看见很多有意思的图片,如果不会爬虫的话,我是不是的一张张另存下来,如果会了爬虫,就能悄无声息 的吧图片下载下来,慢慢欣赏。

现阶段我们利用urllib模块,去做最简单的爬虫,因为比较简单,所以直接看代码就行。主要知识就是通过urllib模块的各个函数加上正则表达式去完成。

#encoding:utf-8

import re
import urllib

#利用urllib的urlopen()函数打开一个url地址
#并读取所有的html代码,
def gethtml(url):
    content=urllib.urlopen(url)
    html=content.read()
    return html


#根据正则表达式去匹配符合规则的内容
def geturls(html):
    r=r'data-src="(http://.*?)"'
    alllist=re.findall(r,html)
    return alllist

#利用urlretrieve()下载文件
def download(list):
    x=0
    for li in list:
        x=x+1
        urllib.urlretrieve(li,"%s.jpg"%x)

if  __name__ == '__main__':
    #内涵段子
    url = "http://neihanshequ.com/pic/"
    #获取网页源码
    html = gethtml(url)
    #根据一定规则过滤出想要的内容
    list = geturls(html)
    #下载图片
    download(list)

    print list
0
1

猜你在找
【直播】机器学习&深度学习系统实战(唐宇迪)
【直播】Kaggle 神器:XGBoost 从基础到实战(冒教授)
【直播回放】深度学习基础与TensorFlow实践(王琛)
【直播】计算机视觉原理及实战(屈教授)
【直播】机器学习之凸优化(马博士)
【直播】机器学习之矩阵(黄博士)
【直播】机器学习之概率与统计推断(冒教授)
【直播】机器学习之数学基础
【直播】TensorFlow实战进阶(智亮)
【直播】深度学习30天系统实训(唐宇迪)
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:11130次
    • 积分:427
    • 等级:
    • 排名:千里之外
    • 原创:30篇
    • 转载:0篇
    • 译文:0篇
    • 评论:3条
    文章分类
    最新评论