爬虫03 爬取堆糖图片并保存到本地

原创 2016年08月31日 12:24:43
# -*- coding: utf-8 -*-
import urllib
import urllib2
import re
i=0
page = 1
url = 'http://www.duitang.com/album/?id=80174265'
user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0"
headers = { 'User-Agent' : user_agent }
request = urllib2.Request(url,headers=headers)
response = urllib2.urlopen(request)
back=response.read()
imglist=re.findall(r'(http://img[^"]+\.jpeg)"',back)
for img in imglist:
    headers = {
        'Referer': 'http://www.duitang.com/album/?id=80174265',
        'User-Agent': "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/" +
                      "537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36"}
    print img

    f=open('堆糖图片'+str(i)+'.jpg','w')
    request = urllib2.Request(img, headers=headers)
    imgposition = urllib2.urlopen(request)
    imgget = imgposition.read()
    f.write(imgget)
    i=i+1
版权声明:Talk is cheap,show me the code

python3 爬虫日记(三) 爬取堆糖动态加载网页

1.分析:进入堆糖网后我们在分类找到插画绘画进入这个分类后发现好多图片,下拉后发现会有不断的图片刷新出来,这就是堆糖采用了动态加载网页。 2.用开发者工具(F12)分析:按一下F12,找到n...
  • Mliangydy
  • Mliangydy
  • 2017年06月27日 20:54
  • 756

python3网络爬虫(堆糖网)

利用py3进行堆糖网图片爬取
  • wuyou5566
  • wuyou5566
  • 2017年07月28日 11:47
  • 174

python3 爬虫日记(三) 爬取堆糖动态加载网页

1.分析:进入堆糖网后我们在分类找到插画绘画进入这个分类后发现好多图片,下拉后发现会有不断的图片刷新出来,这就是堆糖采用了动态加载网页。 2.用开发者工具(F12)分析:按一下F12,找到n...
  • Mliangydy
  • Mliangydy
  • 2017年06月27日 20:54
  • 756

使用scrapy抓取堆糖图片

用py写爬虫也写过一些但是一直没有尝试过scrapy,大概自己写的项目都比较小,用beautifulsoup就搞定了不太需要用这种功能全面的框架,不过这两天还是接触了一下,用scrapy爬了一波堆糖的...
  • zhu_free
  • zhu_free
  • 2015年10月19日 14:36
  • 2238

堆糖瀑布流完整解决方案(jQuery)

2010年堆糖创办以来,网站界面经历过3-5次重大改版,logo也曾更换过两次,早期蓝红相间三个圈的logo恐怕很少有人记得了。与此同时,前端 js 框架也在默默的更新换代。最早堆糖上线时,js 采用...
  • balibell
  • balibell
  • 2013年10月14日 13:29
  • 4795

Python简单知乎爬虫--爬取页面的图片并下载到本地

写了一个小爬虫,其实也算不上爬虫,只是抓取了页面的图片。这里主要是BeautifulSoup解析HTML源码,非常的方便啊,简直是神器,之前一直是使用正则表达式去解析非常痛苦啊!!!! 这里...
  • qq_24489717
  • qq_24489717
  • 2016年09月24日 20:39
  • 1978

Python爬虫——爬取网站的图片

爬虫这东西最早出现在我大学计算机网络的课程上面,我们当时的老师人很好,期末不笔试,他说这东西笔试没什么用,对于一个年纪比较大的老师来讲,能提出这种方式,实在难得。当时在考虑做一个与网络有关的东西好,第...
  • iaiti
  • iaiti
  • 2015年11月19日 15:04
  • 23765

nodejs爬虫----爬取煎蛋网美女图片

这是一个很简单的爬虫,主要是爬取简单妹子图 不跟你多BB,马上上车…,你需要先安装好nodejs,npm,最好能有淘宝镜像cnpm负责响应网络请求的request模块npm install requ...
  • dexing07
  • dexing07
  • 2017年01月09日 15:44
  • 1329

Python爬虫之——爬取妹子图片

首先声明,本博文为我原创,但是我在看了 崔庆才 博主的文章之后加以自己的实际处理的所得,感谢 崔庆才 博主,写的爬虫文章都好,博主文章地址:http://cuiqingcai.com/3179.htm...
  • baidu_35085676
  • baidu_35085676
  • 2017年04月03日 16:19
  • 14734

PYTHON爬虫——必应图片关键词爬取

这段时间在实习,在做一些各大网站图片爬取的工作,基本告一段落,现在分别对百度图片,google图片,并应(Bing)图片三个网站的图片搜索结果进行爬取和下载。 首先通过爬虫过程中遇到的问题,总结如下:...
  • Hk_john
  • Hk_john
  • 2017年11月06日 11:38
  • 4977
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:爬虫03 爬取堆糖图片并保存到本地
举报原因:
原因补充:

(最多只允许输入30个字)