爬虫不会写？找ChatGPT不就完了，实战爬取某手办网~~~

最新推荐文章于 2024-05-20 17:01:37 发布
最新推荐文章于 2024-05-20 17:01:37 发布
阅读量1.2k 收藏 29
点赞数 39
分类专栏： 爬虫 文章标签： 爬虫 chatgpt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/null18/article/details/134947389
版权

💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢迎在文章下方留下你的评论和反馈。我期待着与你分享知识、互相学习和建立一个积极的社区。谢谢你的光临，让我们一起踏上这个知识之旅！
请添加图片描述

文章目录

🍋引言

今天来点有意思的，使用chatGPT如何爬取一个手办网
在这里插入图片描述

八、使用BeautifulSoup4解析HTML实战（二）
这篇文章的之前使用bs4进行爬取的文章，今天我们解放脑子，完全使用ChatGPT，接下来开始我的表演

🍋训练+代码

注意爬虫守则哈
在这里插入图片描述

接下来我们问它能不能，并且指明想要爬取的内容
在这里插入图片描述

接下来我们看看它生成的代码吧

import requests
from bs4 import BeautifulSoup

url = 'https://www.hpoi.net/hobby/all?order=add&category=100'
response = requests.get(url)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')

    # 在这里使用BeautifulSoup选择器获取所需信息
    # 请查看目标网页的HTML结构，使用合适的选择器来提取数据

    # 举例：获取所有产品名称
    names = soup.select('.product-name')

    # 举例：获取所有产品厂商
    manufacturers = soup.select('.product-manufacturer')

    # 举例：获取所有产品出荷日期
    ship_dates = soup.select('.product-ship-date')

    # 举例：获取所有产品新增日期
    add_dates = soup.select('.product-add-date')

    # 打印获取到的信息
    for name, manufacturer, ship_date, add_date in zip(names, manufacturers, ship_dates, add_dates):
        print(f'产品名称: {name.text.strip()}')
        print(f'产品厂商: {manufacturer.text.strip()}')
        print(f'出荷日期: {ship_date.text.strip()}')
        print(f'新增日期: {add_date.text.strip()}')
        print('---')

else:
    print(f'请求失败，状态码：{response.status_code}')

当然ChatGPT不会啥都会，比较网页的HTML它不知道，所以上述代码中的一些内容是例子，'.product-name’之类的需要我们自己去在网页找。当然迫不及待的小伙伴会直接运行，但是会发现啥也没有。我们需要再来问问Ai
在这里插入图片描述

import requests
from bs4 import BeautifulSoup

url = 'https://www.hpoi.net/hobby/all?order=add&category=100'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')

    # 在这里使用BeautifulSoup选择器获取所需信息
    # 请查看目标网页的HTML结构，使用合适的选择器来提取数据

    # 举例：获取所有产品名称
    names = soup.select('.product-name')

    # 举例：获取所有产品厂商
    manufacturers = soup.select('.product-manufacturer')

    # 举例：获取所有产品出荷日期
    ship_dates = soup.select('.product-ship-date')

    # 举例：获取所有产品新增日期
    add_dates = soup.select('.product-add-date')

    # 打印获取到的信息
    for name, manufacturer, ship_date, add_date in zip(names, manufacturers, ship_dates, add_dates):
        print(f'产品名称: {name.text.strip()}')
        print(f'产品厂商: {manufacturer.text.strip()}')
        print(f'出荷日期: {ship_date.text.strip()}')
        print(f'新增日期: {add_date.text.strip()}')
        print('---')

else:
    print(f'请求失败，状态码：{response.status_code}')

不难发现上述代码加了一个请求头，目的就是让网页把你识别是一个正常用户，之后我们输出还是啥也没有，这时候就开始引导一些Ai了
在这里插入图片描述
在这里插入图片描述

从Ai的话可以理解，我们需要打印一下看看是HTML压根没有获取到还是什么问题。
我们试过之后发现HTML可以正常的获取，接下来我们就回到上面的问题，这个.product-name假的内容例子，我们需要替换成网页中的，该怎么办呢，这里教大家一招，我们将之前那个HTML保存下来，然后使用Ctrl+F找到一段结构，然后发给Ai让它帮你去做不就完了嘛，废话不多说，开干，我们玩的就是真实

在这里插入图片描述

import requests
from bs4 import BeautifulSoup

url = 'https://www.hpoi.net/hobby/all?order=add&category=100'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')

    # 将BeautifulSoup对象保存到文件
    with open('soup.html', 'w', encoding='utf-8') as file:
        file.write(soup.prettify())

    print('BeautifulSoup对象已保存到 soup.html 文件。')

else:
    print(f'请求失败，状态码：{response.status_code}')

保存后，我们来看看HTML
在这里插入图片描述
找到一个div，也就是其中一个要爬取的部分

<div class="hpoi-detail-grid-right">
          <div class="hpoi-detail-grid-title hpoi-text-ellipsis">
           <a href="hobby/92265" target="_blank" title="一番赏 五等分的新娘∽ ～五胞胎的庆生～ E奖 中野五月">
            一番赏 五等分的新娘∽ ～五胞胎的庆生～ E奖 中野五月
           </a>
          </div>
          <div class="hpoi-detail-grid-info">
           <span>
            <em>
             厂商：
            </em>
            BANDAI SPIRITS
           </span>
           <span>
            <em>
             出荷：
            </em>
            2024年4月
           </span>
           <span>
            <em>
             新增：
            </em>
            12月12日
           </span>
          </div>
         </div>

然后问Ai
在这里插入图片描述
生成如下

import requests
from bs4 import BeautifulSoup

url = 'https://www.hpoi.net/hobby/all?order=add&category=100'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')

    # 获取所有产品信息
    product_elements = soup.select('.hpoi-detail-grid-right')

    # 打印获取到的信息
    for product in product_elements:
        name = product.select_one('.hpoi-detail-grid-title a').text.strip()
        manufacturer = product.select_one('em:contains("厂商：") + *').text.strip()
        ship_date = product.select_one('em:contains("出荷：") + *').text.strip()
        add_date = product.select_one('em:contains("新增：") + *').text.strip()

        print(f'产品名称: {name}')
        print(f'厂商: {manufacturer}')
        print(f'出荷日期: {ship_date}')
        print(f'新增日期: {add_date}')
        print('---')

else:
    print(f'请求失败，状态码：{response.status_code}')

但是会报错，我们接着问Ai就好，因为有的为空
在这里插入图片描述
大概需要重复三次，因为厂商、出荷、新增都有为空
最终得到的代码如下

import requests
from bs4 import BeautifulSoup

url = 'https://www.hpoi.net/hobby/all?order=add&category=100'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')

    # 获取所有产品信息
    product_elements = soup.select('.hpoi-detail-grid-right')

    # 打印获取到的信息
    for product in product_elements:
        name = product.select_one('.hpoi-detail-grid-title a').text.strip()
        manufacturer = product.select_one('em:contains("厂商：")')
        ship_date_element = product.select_one('em:contains("出荷：")')

        # 获取 "出荷：" 标签后的所有内容，然后提取文本
        if ship_date_element:
            ship_date_text = ship_date_element.find_next('span').get_text(strip=True)
        else:
            ship_date_text = 'N/A'

        add_date_element = product.select_one('em:contains("新增：")')

        # 获取 "新增：" 标签后的所有内容，然后提取文本
        if add_date_element:
            add_date_text = add_date_element.find_next('span').get_text(strip=True)
        else:
            add_date_text = 'N/A'

        # 检查厂商信息是否存在
        if manufacturer:
            manufacturer_text = manufacturer.find_next('span').text.strip()
        else:
            manufacturer_text = 'N/A'

        print(f'产品名称: {name}')
        print(f'厂商: {manufacturer_text}')
        print(f'出荷日期: {ship_date_text}')
        print(f'新增日期: {add_date_text}')
        print('---')

else:
    print(f'请求失败，状态码：{response.status_code}')

这回就可以打印出三十条数据了

🍋扩展

一般情况下，我们都不光打印一页，一般会好多页，大部分页与页直接会有一些相似处。
在这里插入图片描述

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

# 循环爬取前三页的数据
for page in range(1, 4):
    url = f'https://www.hpoi.net/hobby/all?order=add&r18=-1&workers=&view=3&category=100&page={page}'

    response = requests.get(url, headers=headers)

    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')

        # 获取所有产品信息
        product_elements = soup.select('.hpoi-detail-grid-right')

        # 打印获取到的信息
        for product in product_elements:
            name = product.select_one('.hpoi-detail-grid-title a').text.strip()
            manufacturer = product.select_one('em:contains("厂商：")')
            ship_date_element = product.select_one('em:contains("出荷：")')
            
            # 获取 "出荷：" 标签后的所有内容，然后提取文本
            if ship_date_element:
                ship_date_text = ship_date_element.find_next('span').get_text(strip=True)
            else:
                ship_date_text = 'N/A'

            add_date_element = product.select_one('em:contains("新增：")')

            # 获取 "新增：" 标签后的所有内容，然后提取文本
            if add_date_element:
                add_date_text = add_date_element.find_next('span').get_text(strip=True)
            else:
                add_date_text = 'N/A'

            # 检查厂商信息是否存在
            if manufacturer:
                manufacturer_text = manufacturer.find_next('span').text.strip()
            else:
                manufacturer_text = 'N/A'

            print(f'产品名称: {name}')
            print(f'厂商: {manufacturer_text}')
            print(f'出荷日期: {ship_date_text}')
            print(f'新增日期: {add_date_text}')
            print('---')

        print(f'第 {page} 页数据已爬取完毕\n')

    else:
        print(f'请求失败，状态码：{response.status_code}')

之后将打印的内容保存到csv文件就可以了
在这里插入图片描述

import requests
from bs4 import BeautifulSoup
import csv

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

# Open a CSV file for writing
with open('product_data.csv', 'w', newline='', encoding='utf-8') as csvfile:
    # Create a CSV writer object
    csv_writer = csv.writer(csvfile)

    # Write header row to CSV file
    csv_writer.writerow(['产品名称', '厂商', '出荷日期', '新增日期'])

    # Loop through each page
    for page in range(1, 4):
        url = f'https://www.hpoi.net/hobby/all?order=add&r18=-1&workers=&view=3&category=100&page={page}'

        response = requests.get(url, headers=headers)

        if response.status_code == 200:
            soup = BeautifulSoup(response.text, 'html.parser')

            # Get all product information
            product_elements = soup.select('.hpoi-detail-grid-right')

            # Loop through each product on the page
            for product in product_elements:
                name = product.select_one('.hpoi-detail-grid-title a').text.strip()
                manufacturer = product.select_one('em:contains("厂商：")')
                ship_date_element = product.select_one('em:contains("出荷：")')

                # Get "出荷：" element's text content
                if ship_date_element:
                    ship_date_text = ship_date_element.find_next('span').get_text(strip=True)
                else:
                    ship_date_text = 'N/A'

                add_date_element = product.select_one('em:contains("新增：")')

                # Get "新增：" element's text content
                if add_date_element:
                    add_date_text = add_date_element.find_next('span').get_text(strip=True)
                else:
                    add_date_text = 'N/A'

                # Check if manufacturer information exists
                if manufacturer:
                    manufacturer_text = manufacturer.find_next('span').text.strip()
                else:
                    manufacturer_text = 'N/A'

                # Print data to console
                print(f'产品名称: {name}')
                print(f'厂商: {manufacturer_text}')
                print(f'出荷日期: {ship_date_text}')
                print(f'新增日期: {add_date_text}')
                print('---')

                # Write data to CSV file
                csv_writer.writerow([name, manufacturer_text, ship_date_text, add_date_text])

            print(f'第 {page} 页数据已爬取完毕\n')

        else:
            print(f'请求失败，状态码：{response.status_code}')

print('数据已保存到 product_data.csv 文件。')

🍋解决保存后的csv文件，使用Excel打开总是乱码

在这里插入图片描述
将文件用记事本打开，使用ANSI编码即可，这样打开的文件就不会是乱码了
在这里插入图片描述

🍋总结

合理的利用Ai可以极大的提高我们的生产效率，但你也得会点，在自己有点基础的前提去使用会事半功倍。

请添加图片描述

挑战与创造都是很痛苦的，但是很充实。

小馒头学python
关注
  • 39
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 25
    评论
专栏目录
ChatGPT非常火，我用它自动编写Python爬虫脚本。结果出乎意料。
爬遍所有网站
02-23 8612
都知道最近ChatGPT聊天机器人爆火，我也想方设法注册了账号，据说后面要收费了。ChatGPT是一种基于大语言模型的生成式AI，换句话说它可以自动生成类似人类语言的文本，把梳理好的有逻辑的答案呈现在你面前，这完全不同于传统搜索工具。ChatGPT不光可以回答人文、科学、情感等传统问题，还可以写代码、改bug，程序员可就急了，简直是在抢饭碗，所以网上出现各种ChatGPT让你失业的焦虑言论。俗话说“百闻不如一见”，我试着让ChatGPT用Python去写爬虫脚本，看它到底行不行？
爬虫课设~爬取当当图书畅销榜.rar
12-09
压缩包内含——pycharm页面代码、爬取的csv文件、答辩PPT、Word文档很齐全 很用心的期末课设作业 作品介绍 （源文件），基本期末作业所需的知识点全覆盖。
爬虫课设~爬取高校.zip
12-09
压缩包内含——pycharm代码、爬取csv文件、答辩PPT 、Word文档 作品介绍 （源文件），基本期末作业所需的知识点全覆盖。
Pyspider框架——Python爬虫实战之爬取V2EX网站帖子
02-25
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。在线示例：http://demo.pyspider.org/你已经安装好了Pyspider和MySQL-python(保存数据)如果你还没安装的话，请看看我的前一篇文章，防止你也走弯路。Pyspider框架学习时走过的一些坑我所遇到的一些错误：首先，本爬虫目标：使用Pyspider框架爬取V2EX网站的帖子中的问题和内容，然后将爬取的数据保存在本地。V2EX中大部分的帖子查看是不需要登录的，当然
Python爬虫~已爬取目标网站所有文章，后续如何只获取新文章
01-27
Python爬虫~已爬取目标网站所有文章，后续如何只获取新文章
【python】用ChatGPT使用爬虫
没有手牌的博客
04-19 8301
要爬取无锡七日天气，可以使用Python中的第三方库 requests 和 Beautiful Soup。VSCode中安装相关的插件就可以配合chatgpt来实现一些简单的爬虫操作，只能应对比较简单的场景.优化下代码，没有获取到天数，并且这个get_text有报错.打印结果如下: 这个很明显就是date这个数据为None。但是上述实际运行是存在一些小问题的。python 爬取无锡七日天气。
chatgpt帮你写爬虫程序
qq_20179331的博客
03-28 1209
chatgpt帮你写爬虫程序，轻松获取工作需要的数据。
微软new bing chatgpt 逆向爬虫实战
Mr_bai_404的博客
03-12 8489
gospider 是一个golang 爬虫神器，它内置了多种反爬虫模块,是golang 爬虫必备的工具包。
Python爬虫实战（四）：利用代理IP爬取某瓣电影排行榜并写入Excel（附上完整源码）
努力让自己发光，对的人才能迎着光而来
07-26 12万+
Python爬虫实战（四）：利用代理IP爬取某瓣电影排行榜并写入Excel（附上完整源码）
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
努力让自己发光，对的人才能迎着光而来
08-21 14万+
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
python爬虫实战——小说爬取
cuc_pyx技术小站
05-21 2万+
基于requests库和lxml库编写的爬虫，目标小说网站域名http://www.365kk.cc/，类似的小说网站殊途同归，均可采用本文方法爬取。
爬虫实战之研招网数据爬取（含分析与实现）
04-09
使用Scrapy框架爬取研招网上所有院校的招生目录以及考试科目等信息，提供详细的网页分析课件和分步骤实现源代码，同时提供爬取的数据，是一个不错的爬虫实战案例。
Python爬虫实战（七）——批量下载4K高清小姐姐图片（附上完整源码）
热门推荐
努力让自己发光，对的人才能迎着光而来
12-18 29万+
Python爬虫实战（七）——批量下载4K高清小姐姐图片（附上完整源码）
python爬虫实战【某汽车网站信息爬取】
wangzhuanjia的博客
07-19 5682
写一个某汽车网站的爬虫，将车辆价格，车辆名称，车辆配置，不同型号，还有车友评论以及车友成交价格，最后保存json文件，更直接更直观。所以我们只要先去搜索拿到车id，再去请求车辆详情接口和车友评论接口就ok了，思路很清晰了。然后点进去看详情，打开开发者工具检查xhr交互，看一下有没有我们需要的ajax请求，这个懂车帝非常友好，没有什么反爬机制，正常访问就可以，我没有做频率测试也没有必要，我们先清空所有请求，点击口碑可以看到这个接口里面有我们想要的数据，在我们搜索车辆名称时，所加载的主页面里有，........
python爬虫[简易版]
Gavin
05-15 335
接下来就是分析返回的数据,解析数据~拿出图片的url。第一步:打开网站,分析图片的数据源来自哪里,发现我们要的数据原来自这里,
Python 爬虫编写入门
最新发布
wbryze的博客
05-20 265
网络爬虫（Web Crawler）或称为网络蜘蛛（Web Spider），是一种按照一定规则，自动抓取互联网信息的程序或者脚本。它们可以自动化地浏览网络中的信息，通过解析网页内容，提取所需的数据，并保存下来供后续分析使用。需要替换为实际要爬取的网页 URL。另外，为了运行上述代码，你需要先安装。这两个 Python 库。
更适合爬虫的正则表达式
2301_80263861的博客
05-18 915
对于第一个输出，我们使用的是.*的方式来正则字符串，对于.*而言，它会尽量匹配更多的符合要求的字符串，而.*后面的是 \d+，也就是至少会留一个数字给到 \d+，于是.*就把前面的123456都匹配掉，只留一个7给到 \d+，当使用group(1)方法时，访问的是(\d+)，这个时候输出的就只有 7 了。匹配到hellow的空格字符时，就停止匹配，因为后面的数字部分，可以留给(\d+)来匹配，于是在使用group(1)方法时，访问(\d+)，这个时候输出就会出现1234567。
NSSCTF | [SWPUCTF 2021 新生赛]ez_unserialize
2302_80946742的博客
05-15 811
如果 `admin` 属性等于 "admin" 且 `passwd` 属性等于 "ctf"，脚本会包含 "flag.php" 文件，并显示其 `$flag` 变量的内容。在这个例子中，攻击者可能会尝试提供一个序列化的 `wllm` 对象，其 `admin` 和 `passwd` 属性被设置成了 "admin" 和 "ctf"，以此来获取 "flag.php" 中的敏感信息。- 构造方法 `__construct()`：这是一个魔术方法，当一个新的 `wllm` 对象被创建时，会自动调用此方法。
爬虫实战-路线查询爬虫（半成品）
fasdaegaw的博客
05-20 221
【代码】爬虫实战-路线查询爬虫（半成品）
写一段从网络上爬取chatgpt信息的网络爬虫代码
04-29
以下是一个基本的网络爬虫代码，用于从网络上爬取ChatGPT相关信息： ```python import requests from bs4 import BeautifulSoup # 设置需要爬取的网页链接 url = 'https://www.example.com/chatgpt' # 发送请求并获取响应内容 response = requests.get(url) # 解析响应内容 soup = BeautifulSoup(response.text, 'html.parser') # 提取ChatGPT相关信息 chatgpt_info = soup.find('div', {'class': 'chatgpt-info'}) # 输出ChatGPT相关信息 print(chatgpt_info.text) ``` 需要注意的是，实际上从网络上爬取信息需要考虑众多方面，例如网站的反爬机制、数据的清洗和存储等等。因此，以上只是一个简单的模板，具体的实现需要根据具体情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 25
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小馒头学python

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值