python爬虫实战 爬取天极图片

最新推荐文章于 2021-02-09 22:30:02 发布
最新推荐文章于 2021-02-09 22:30:02 发布
阅读量1k 收藏
点赞数
分类专栏： python爬虫 文章标签： 爬虫 python 爬取图片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Qton_CSDN/article/details/71158575
版权

学习爬虫个人的意见是直接实战效果会很好 不要等全学完requests ，正则表达式，BeautifulSoup等再来实际操作。其实很多实战我们并不会用到requests库，BeautifulSoup，正则表达式的全部知识。全部学懂记下来再去实战会很难。不如跟着我直接就该是写爬虫吧。遇到什么问题我们再一一解决。


1 导入各种要用到的库，具体什么用法下面会讲

 

import re
import os
import time
import random
import requests
from bs4 import BeautifulSoup


# 这几个库是我们自己写的 后面会教你写 这里我们先导入
from packages.save import save

2 我们加个header 表头 让服务器以为我们是一个真的浏览器 才会返回给我们图片数据

header = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}

注意：每个浏览器的表头不一样。用你自己浏览器的表头就行。

这里我用的是谷歌浏览器，这里示范给你们看。

你现在在阅读我的文章，直接F12 打开开发者工具。


   

随便点击Name下面一个 这里我们点击第一个qton_csdn?viewmode=list 右边边下拉到最后看到

  1. User-Agent:
    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36
  2. 这个就是我浏览器的表头了。


3 写好表头 我们来定义一个函数来获取一个网址的HTML 我们定义为def get_html(url,timeout=2): 这里有两个参数，url 为我们要爬取网页的网址，timeout=2 即两秒内服务器如果无返回数据我们断掉此次获取不然程序一直等下去。

代码： 
def get_html(url,timeout=2):
	try:
		return requests.get(url,header,timeout=3)
	except:
		# 换表头，换ip
		print('换表头，使用代理！')
		time.sleep(random.randrange(1,11))
		return requests.get(url,headers=get_random_header(),proxies={'http':get_random_ip()},timeout=2)
try:函数 我们用自己的表头试着去获取HTML 如果成功则返回HTML 如3秒内无返回数据，则执行下面excep:代码
excep:代码
我们先随机停顿1到10秒 用到 time库的time.sleep 函数 random库的 random.randrange(1,11) 随机取1-11 的数 不包括11
接着我们换个表头，用我们收集来的其它浏览器的表头去获取HTML，再使用一下代理：
这里我们需要在你写爬虫代码的文件下创建一个包（这里涉及到创建函数包的问题），命名为packages，在packages下创建代码为header.py和 ip.py ip池。


header.py下代码为： 
import random

headers_list=[
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
	 "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
	 "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
	 "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
	 "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
	 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
	 "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
	 "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]

def get_random_header():
	UA=random.choice(headers_list)
	header={'User-Agent':UA}
	return header
我们在大本营要调用此函数 def get_random_header(): 时需要先import 就是上面那个
from packages.header import get_random_header
def get_random_header()的作用是调用一次他的时候随机返回一个表头header

ip.py下面代码为： 
import re
import random
import requests


def get_random_ip():
	try:
		html=requests.get('http://haoip.cc/tiqu.htm')

		ip_list=re.findall(r'([\d].*?)<br/>',html.text)
		ip=random.choice(ip_list)
		return ip
	except:
		print('get_random_ip 出错！')
		return None


下面给出所有代码，先自己领悟领悟。



全部代码：
1 主代码：爬取-天极.py 
import re
import os
import time
import random
import requests
from bs4 import BeautifulSoup


# 这几个库是我们自己写的 后面会教你写 这里我们先导入
from packages.save import save
from packages.ip import get_random_ip
from packages.header import get_random_header



header = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}



def get_html(url,timeout=2):
	try:
		return requests.get(url,header,timeout=3)
	except:
		# 换表头，换ip
		print('换表头，使用代理！')
		time.sleep(random.randrange(1,11))
		return requests.get(url,headers=get_random_header(),proxies={'http':get_random_ip()},timeout=2)

 

def main():





	for big_page in range(1,8):
		all_url = 'http://pic.yesky.com/c/6_20471_%s.shtml'%big_page
		big_page_html=get_html(all_url)
		Soup = BeautifulSoup(big_page_html.text, 'lxml')
		all_a = Soup.find('div', class_='lb_box').find_all('a')
		for a in all_a:

			# 取出 title url
			title = a.get_text()
			href = a['href'] 
			# time.sleep(0.5)

			# 创建以 title 为名的文件夹
			path = str(title).strip()
			try:
				os.makedirs(os.path.join("F:\pic.yesky", path))
				os.chdir("F:\pic.yesky\\"+path)
				print(href)
			except:
				# print('file existed!')
				time.sleep(0.1)
				continue




			# 查看文件夹有几页图片
			try:
				html = get_html(href)
			except:
				print('出错')
				continue

			html_Soup = BeautifulSoup(html.text,'lxml')
			max_page = html_Soup.find_all('span')[10].get_text()
			F_MAX=re.compile(r'/([0-9]*)')
			

			# 取出文件夹每页的图片
			try:
				max_page=F_MAX.findall(max_page)[0]
				a=int(max_page)
			except:
				continue
			for page in range(2,a+1):
				url_photo=href.replace('.shtml','_%s.shtml'%page)
				# print('图片页面URL',url_photo)
				try:
					img_html=get_html(url_photo)
				except:
					continue
				img_Soup=BeautifulSoup(img_html.text,'lxml')

				try:
					url_photo=img_Soup.find('div',class_='l_effect_img_mid').find('img')['src']
					img=get_html(url_photo)
				except:
					continue



				# 保存
				try:
					f=open(str(page)+'.jpg','wb')
					f.write(img.content)
					f.close()
					# print(url_photo)

				except:
					print('保存出错')
					continue


			#一个文件夹结束停顿
			time.sleep(1) 




'''



			# 保存
			try:
				f=open(str(page)+'.jpg','wb')
				f.write(img.content)
				f.close()
				print(url_photo)

			except:
				print('保存出错')
				continue


		#一个文件夹结束停顿
		time.sleep(2) 


'''




if __name__ == '__main__':
	main()

2 packages包应放在 爬取-天极代码童文件下，如图：

packages 下创建 header.py ip.py save.py 三个代码 如图：



header.py下代码： 
import random

headers_list=[
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
	 "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
	 "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
	 "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
	 "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
	 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
	 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
	 "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
	 "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]

def get_random_header():
	UA=random.choice(headers_list)
	header={'User-Agent':UA}
	return header

ip.py下代码： 
import re
import random
import requests


def get_random_ip():
	try:
		html=requests.get('http://haoip.cc/tiqu.htm')

		ip_list=re.findall(r'([\d].*?)<br/>',html.text)
		ip=random.choice(ip_list)
		return ip
	except:
		print('get_random_ip 出错！')
		return None

save.py下代码： 
import urllib.request
from urllib.error import HTTPError


def save(url,name):
	print(url,name)

	try:
		urllib.request.urlretrieve(url,'下载\\%s.jpg'%name)
		print(name,'saving...')
	except HTTPError as e:
		print('读取错误！',e)
		return None
	except:
		print('save 错误')
		return None

附上爬取http://www.mzitu.com 网站全部图片的代码： 
import re
import os
import time
import random
import requests
from bs4 import BeautifulSoup


from packages.save import save
from packages.ip import get_random_ip
from packages.header import get_random_header



header = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}



def get_html(url,timeout=2):
	try:
		return requests.get(url,header,timeout=3)
	except:
		# 换表头，换ip
		print('换表头，使用代理！')
		return requests.get(url,headers=get_random_header(),proxies={'http':get_random_ip()},timeout=2)


def main():
	all_url = 'http://www.mzitu.com/all'
	start_html = requests.get(all_url,  headers=header) 
	Soup = BeautifulSoup(start_html.text, 'lxml')
	all_a = Soup.find('div', class_='all').find_all('a')

	for a in all_a:

		# 取出 title url
		title = a.get_text()
		href = a['href'] 
		# print(href)


		# 创建以 title 为名的文件夹
		path = str(title).strip()
		try:
			os.makedirs(os.path.join("F:\Scraping", path))
			os.chdir("F:\Scraping\\"+path)
		except:
			# print('file existed!')
			# time.sleep(0.1)
			exit()
			continue



		# 查看文件夹有几页图片
		try:
			html = get_html(href)
		except:
			print('出错')
			continue
		html_Soup = BeautifulSoup(html.text,'lxml')
		max_page = html_Soup.find_all('span')[10].get_text()

		


		# 取出文件夹每页的图片
		try:
			a=int(max_page)
		except:
			continue
		for page in range(1,a+1):
			url_photo=href+'/%s'%page
			try:
				img_html=get_html(url_photo)
			except:
				continue
			img_Soup=BeautifulSoup(img_html.text,'lxml')

			try:
				url_photo=img_Soup.find('div',class_='main-image').find('img')['src']
				img=get_html(url_photo)
			except:
				continue



			# 保存
			try:
				f=open(str(page)+'.jpg','wb')
				f.write(img.content)
				f.close()
				print(url_photo)

			except:
				print('保存出错')
				continue


		#一个文件夹结束停顿
		time.sleep(2) 







if __name__ == '__main__':
	main()


Qton
关注
专栏目录
使用python和PyQt5编写爬取百度图片的界面工具
qq_42208386的博客
08-18 474
使用python和PyQt5编写爬取百度图片的界面工具 本篇文章的主要内容是展示我个人编写的，以界面小工具的方式爬取百度上面的图片，功能很单一，根据关键词爬取图片，代码很简单，新手上路请多指教。 代码介绍如下： 界面代码tools.py import sys #####pyqt5导入模块################ from PyQt5.QtWidgets import * from PyQt5.QtCore import * from PyQt5.QtGui import * from PyQt5 i
Qt-有趣的爬虫
04-22
Qt4 实现透明窗体, gif图片透明显示, 屏幕爬虫, 按Ctrl+Alt+Q退出(注册快捷键成功的话,winEventFilter方式实现).
爬虫爬虫学习： 爬取网页图片
风哥有点田
02-22 965
#coding=utf-8 import urllib2 import os import time import random def url_open(url): headers={ 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091
使用爬虫下载图片（Qt版）
友善啊，朋友的博客
02-09 969
模仿这篇博客：Java爬虫-使用爬虫下载图片！的内容。 代码： #ifndef WIDGET_H #define WIDGET_H #include <QWidget> QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_NAMESPACE class Widget : public QWidget { Q_OBJECT public: Widget(QWidget *parent = nullptr);
010：图片类爬虫项目实战
李玺
02-04 5443
之间我们学习了使用Urllib模块手写图片爬虫，在本章内容中，我们会以图片类爬虫为例，为大家讲解如何通过Scrapy框架实现图片爬虫项目。 利用Urllib手写爬虫回顾： 之前在实战的时候使用Urllib手写了爬取京东手机图片信息。 在这里我来写一个简单的输入关键字爬区百度图片搜索第一页的图片。 1、安装requests 2、获取百度图片搜索url信息 通过观察我们可以发现百度图片搜索页面的...
python爬虫-爬取火车票.zip
01-21
Python爬虫技术是数据获取的重要工具，特别是在网络信息丰富的今天，爬取火车票数据能帮助我们分析火车票的定价、余票、时段等信息。在这个项目中，我们将深入探讨如何利用Python实现火车票数据的爬取。 首先，我们...
python爬虫，爬取贴吧
最新发布
01-17
python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧python爬虫，爬取贴吧...
Python爬虫将爬取的图片写入world文档的方法
09-19
本篇文章将详细讲解如何使用Python爬虫将抓取的图片写入Word文档。 首先，我们需要了解Python中的requests库，它用于发送HTTP请求，获取网页内容。在爬取图片时，我们通常先用requests.get(url)发送GET请求，获取...
Python爬虫实战之爬取网站全部图片二
02-27
此代码是爬取整站的完整代码，运行就可以直接爬完站上所有的图片。 但是以为代码是python2的，如果使用python3的朋友请自行修改相关函数，代码中也有相关的注释。 代码使用多线程进行批量下载
用qt写出来的一个网络爬虫
一个Web工程师，PHPer
09-09 3061
用qt写出来的一个网络爬虫，这是抓取的交易记录，只不过抓取了2页，就被支付宝提示验证。看来支付宝的反爬虫还是做的可以。不知道它用的什么原理？ 这个爬虫的任务就是抓取自己的交易记录，然后提交到自己的服务器。用于做个人交易的订单验证。
qt写的抓取网页图片并保存到本地
03-08
自己用qt写的，可以对指定url地址进行解析，找出其中包含的所有图片地址，并且可以保存到本地的指定位置。
获取代理IP地址
热门推荐
永春的CSDN博客
06-29 3万+
很多时候，需要用到代理IP。比如在开发爬虫程序的时候，为了反爬，需要使用代理IP。 首先给出程序实现的功能，然后再来说明开发思路： 完整代码下载地址： https://github.com/yooongchun/ProxyIP 功能： 从指定的网站抓取代理IP地址并存入数据库all_ip_table中，当前抓取的地址包括： 西刺网站 快代理网站 66代理网站 89代理网站 秘密代理...
QT中通过HTTP URL获取并保存网页上的图片
磊啊磊
04-08 1万+
通过HTTP来获得网页上的图片，在MFC中主要是通过类CInternetSession类完成，在QT中则是通过三个类来完成，QNetworkAccessManager,QNetworkRequest,QNetworkReply，三个类的详细用法还需自己多看文档，这里就不多解释了，下面直接贴代码，别忘了在Qt工程中加入 QT += core network. #ifndef DOWNLOADER_
xpath 获取text()数据返回None
糖果云专栏
07-22 4053
今天使用爬虫获取天极网的所有手机信息，在获取一些分辨率，cpu等等 返回的是None resolution = c_li.xpath('.//div[@class="mainparam"]/table[2]/tbody/tr[1]/td[2]/text()').get() #分辨率 并且通过火狐浏览器控制台检测了我的定位元素是否有误（问题就处在这里） 以下是验证方式 但是使用这个方法验证了的确好像是没有问题的 我就把爬出该页面的html返回出来看了一下 返回的html并没有tbody标签.
Qt实现简易爬虫
BLSpan的博客
03-18 3627
最近在准备复试的过程中要查询学校导师的信息，一个一个看，然后分析，有点费事，所以想爬虫爬去老师的所有信息，然后用以前写的分析工具（云标签的那个）进行分析。 本项目由两部分组成， 1、提取相关的网页html信息。 2、利用正则表达式提取有用信息 这两部分都比较简单，就不详述了。 直接上代码： #include "spider.h" #include "ui_spider.h" #include &...
Qt学习笔记-web图片爬取器（webKit）Qt5.6以下的版本才有
IT1995的博客
07-19 4920
在上实例和源码前，说下有个东西： css探测器： 如下图： 拷贝的代码如下： body &gt; div.wrap &gt; div:nth-child(5) &gt; div:nth-child(1) &gt; div.tupian &gt; p:nth-child(3) &gt; img 这里去掉：就是那一组图片（所有子元素），如下代码： body &gt; div.wrap ...
Qt 简单爬虫开发
易水寒
03-27 8775
1. 为什么使用Qt写爬虫？老实说爬虫非常关键是效率，所以说用qt来写不是一个好的选择。。。。但是我的需求比较轻量级，就用qt了，qt跨平台，UI不错，然后连接数据库方便，所以用来搞也不是一个坏选择。2.爬虫主要的内容基本爬虫就是请求地址，然后用正则表达式对结果进行处理，然后存到数据库中。大概就三步。这里只涉及到用get方式来获取。有一些数据还需要post。还有一些需要登录后，涉及到cookie,
编写python爬虫 获取中华英才网全网工资数据
Qton_CSDN的博客
05-07 4451
做数据分析 数据挖掘，第一步是获取数据，在这里，我们要分析现今全国各地各个职业的工资情况。 我们选择较为权威的‘中华英才网’，编写python爬虫获取该网站上的各个招聘信息说给出的工资，再取其行业工资的平均值，即为该行业目前的大概工资。 1 以深圳为例 如‘数据挖掘’这个职业在深圳查找的情况如上图。代码里我们去掉‘面议‘，工资3000-6000这样的我们取其中值4500写ex
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值