python爬取天堂网图片

#获取网页源码/下载网页/图片/视频/音频
import requests
#解析网页相关数据
from lxml import  etree
#操作文件夹/路径
import os

#1.下载网页源码
#2.解析网页源码（难度比较大）
#3.解析相关数据

url="http://www.ivsky.com/tupian/ziranfengguang/"
response=requests.get(url)
#content text  只不过数据类型不一样


#把网页源码解析为根节点
#root 根节点 相当于网页的根
root=etree.HTML(response.content)
#根据xpath来定位相关数据
#ul li a
#注意：xpath返回的结果一定是一个列表
a_list=root.xpath("//ul[@class='tpmenu']/li/a")
#a_list[1:] 对列表进行切片，跳过“所有分类”这个元素
for a in a_list[1:]:
    # print(a)  <Element *****> 元素类型

    #text()表示获取标签之间的内容
    big_title=a.xpath("text()")[0]
    #获取标签中的某个属性 @属性名称
    big_url=a.xpath("@href")[0]
    if not big_url.startswith("http"):
        big_url="http://www.ivsky.com"+big_url
    print(big_title,big_url)

    #1.下载
    big_response=requests.get(big_url)
    #2.解析
    big_root=etree.HTML(big_response.content