之前一直在自己学pyhon,但是发现没有明确的目标。也不知道这门语言到底能干啥。于是果断放弃学习的念头了,学了一些基础。
后来在freebuf开到python爬虫开发,真是感谢那位作者。我根据那几篇文章学会了怎么用python爬去网页上的图片。而且恰好我正在开发的项目需要大量的图片来支持后台数据。学以致用,这个是爬虫文章链接:http://www.freebuf.com/news/special/96821.html,从一到五系列都可以看。
在写代码之前首先你得有python 的一些包
可以用pip install BeautifulSoup
或者 easy_install BeautifulSoup,至于这么安装pip,或者easy_install读者可以自己在网上找找资料。
from bs4 import BeautifulSoup
import urllib
web = "http://www.tuhao13.com/"
data = urllib.urlopen(web.read())
soup = BeautifulSoup(data,"html.parser")
#拿到BeautifulSoup解析出来的数据之后就可以查找对应的元素了
list = soup.findAll('img',attrs={"class":"hotimg"})#查找标签img并且class=hotimg的元素
#找到的是一个数组,在这个数组中的每一元素就是img标签,img标签肯定会有scr的属性,我们下载图片就是根据这个属性来下载
#保存图片
urllib.urlretrieve(list[0]["src"],"d://img/test.jpg")
#这样图片就下载下来了
这个只是一个简单的实现图片爬取得方法。想要爬去更多的图片得用循环