Python + BeautifulSoup 爬取校花网数据

Python 爬虫小练习： 利用BeautifulSoup， 爬取校花网图片和图片标题、票数等基本数据，并下载保存到本地。

效果如图：

  

 

代码如下：

 

import urllib.request

from bs4 import BeautifulSoup
import re

# 爬取校花网 校花排行

# 排名
# 标题
# 票数
# 图片


# 获取访问到的数据
url = "http://www.xiaohuar.com/2014.html"
html = urllib.request.urlopen(url)
data = html.read()

# 进行本地存储
file_html = open("校花排行","wb",1)
file_html.write(data)
file_html.close()
html.close()

# 创建一个soup对象
soup = BeautifulSoup(data,"html.parser");
soup.prettify()

#查询所有的容器
div_all = soup.find_all("div",attrs={"class":"items"});
print( len(div_all));
# print(div_all)

# 遍历查询每一个div标签
i = 1
for div_item in div_all:

    paiming = div_item.find("div",attrs={"class":"top-title"}).string
    print("排名：" + paiming)
    #for img in div_item.find_all(re.compile("^img")):
        #print(img)

    biaoti = div_item.p.get_text()
    print( "标题：" + biaoti)
    # lianjie = div_item.find_all(["a"]).string
    # print(lianjie)

    piaoshu = div_item.span.get_text()
    print( "票数：" + piaoshu)

    # 获取网址
    pic_url = div_item.find("img")["data-original"]
    # 有些图片比较特殊 网址完整 开头为http 有些不完整
    if pic_url[0] == "h":
        pass
    else:
        pic_url = "http://www.xiaohuar.com" + pic_url

    # 下载保存
    # 相对路径
    file_path = "图片"
    import os
    if os.path.exists(file_path):
        print("文件夹存在")
        pass
    else:
        os.makedirs(file_path)
        print("文件创建成功")
        pass

    print("第%d张图片地址: %s" % (i, pic_url))
    print("开始下载第%d张图片：===============" % i)
    urllib.request.urlretrieve(pic_url, "图片/%d %s.jpg" % (i,biaoti))
    print("完成下载第%d张图片：===============" % i)

    print("")
    i += 1

    print("***********"*5)

    pass