爬虫第二天-------------------------------------笔记(CSS选择器)

最新推荐文章于 2024-09-07 00:00:00 发布

桔子言

最新推荐文章于 2024-09-07 00:00:00 发布

阅读量119

点赞数

分类专栏：爬虫文章标签： CSS选择器爬虫

本文链接：https://blog.csdn.net/bbbbb1996/article/details/101637457

版权

爬虫专栏收录该内容

7 篇文章 0 订阅

订阅专栏

CSS选择器

CSS选择器语法 —>猛戳这里

与find的不同点

find --> 用BeautifulSoup(content, ‘lxml’)

CSS --> 用BeautifulSoup(content, ‘html.parser’)

然后通过刚才find爬取的网站, 发现的一些好东西 - -来爬她

初略一看.并没有反爬手段,用之前的框架一堆一堆东西放进去就OK = 贼简单

继续步骤 $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xc3sp0fM-1569674642405)(F:\paday\imgae\COS_4.png)]$

一阵观察咳咳绝对没有看不应该看的地方看到CSS的语法为(是不是和xpath有点像)

# 注意这里class 如果有多个属性值的话 选择一个就可以了
soup_paht = '.pic_list_con > ul > li > .cover > a > img'

既然得到了然后就通过语法定位我们需要的需要拿到下载就完事了呗(这里就不下套图了,减少人家服务器负担)

import urllib.request
from bs4 import BeautifulSoup

def create_request():
    url = 'https://www.cosplaymore.com/list-65-1.html'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
    }
    req = urllib.request.Request(url=url, headers=headers)
    return req
def download_content(req):
    res = urllib.request.urlopen(req)
    content = res.read().decode('utf-8')
    return content

def parse_content(content):
    # 和xpath语法差不多 一步一步查找到终点
    soup_path = '.pic_list_con > ul > li > .cover > a > img'
    soup = BeautifulSoup(content, 'html.parser')
    # 获取节点信息
    img_nodes = soup.select(soup_path)
    # 遍历信息
    img_list = []
    for i in img_nodes:
        # 找到需要的属性src
        img_src = i.get('src')
        img_list.append(img_src)
    return img_list

def save_images(img_list, path):

    j = 1
    # 将爬取回来的网页进行整理
    for src in img_list:
        # 拿出格式
        img_pattern = src.split(".")[-1]
        # 构建图片名字
        file_name = path + "/" + str(j) + "." + img_pattern
        urllib.request.urlretrieve(src, file_name)
        j += 1

def main():
    path = "./xiezhen"
    # 创建请求
    req = create_request()
    # 下载数据
    content = download_content(req)
    # 解析数据
    img_list = parse_content(content)
    # 保存数据
    save_images(img_list, path)

if __name__ == "__main__":
    main()

存数据
    save_images(img_list, path)

if __name__ == "__main__":
    main()