Python爬虫简单的两个示例(仅供学习使用)

仅供学使用

爬虫

在网页下载图片(api接口)

代码:

"""
long long away
Date:2022/5/9 17:27
"""
import requests, json


for i in range(1,10):
    URL = 'https://api.ixiaowai.cn/api/api.php?return=json'
    resp = requests.get(url=URL)
    resp.encoding = 'utf-8-sig'
    s = json.loads(resp.text)
    # 获取图片地址
    URL1 = f'{s["imgurl"]}'
    # 请求图片地址
    resp1 = requests.get(url=URL1)
    # 将图片写入文件中
    with open(f'./img/s{i}.jpg','wb') as f1:
        f1.write(resp1.content)
    print(f'下载第{i}张图片完成')

爬取新闻网的新闻信息(正则表达式)

"""
"""
long long away
Date:2022/5/9 18:56
"""
import requests, csv, re

writer = csv.writer(open('./newslists.csv', 'w', encoding='utf-8', newline=''))
# 创建头标题
writer.writerow(['类型', '标题', '列表'])
# 循环遍历每一页的信息
for pages in range(1, 11):
    URL = f'https://www.chinanews.com.cn/scroll-news/news{pages}.html'
    headrs = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36'}
    resp = requests.get(url=URL, headers=headrs)
    resp.encoding = 'utf-8'

    # 提取有用信息
    result = re.findall(r'\[<a href=.*>.*</a>]</div> <div class="dd_bt"><a href=".*">.*', resp.text)

    for i in range(1, 120):
        # 空列表用于存放有用信息
        list1 = []
        # 获取小标题
        result1 = re.search(r'[\u4e00-\u9fa5]{2}', result[i])
        s1 = result1.group()
        # 将小标题加入列表中
        list1.append(s1)
        # 获取新闻主标题
        result2 = re.findall(r'">.{3,}</a>', result[i])
        result3 = re.findall(r'[^\da-zA-Z<>][^\da-zA-Z<>]{5,}', result2[0])
        # 将主标题加入列表
        if result3 != []:
            s2 = result3
            list1.append(s2[0])
        # 获取新闻地址
        result4 = re.findall(r'<a href=".*\.shtml"', result[i])
        # 将新闻地址存入列表
        if result4 != []:
            result5 = re.findall(r'".*"', result4[0])
            pos = eval(result5[0])
            position = 'https://www.chinanews.com.cn' + pos
            list1.append(position)
        # 将列表内容存入csv文件
        writer.writerow(list1)

注:爬取新闻网的代码中在获取信息的for循环中有两个if,用于解决极少部分信息不符合正则表达式，因此再获取前10页新闻的结果中会少了几条。

仅供学习使用