AI时代预警：大模型崛起，爬虫工程师的未来将何去何从？

大模型玩家

于 2024-08-28 10:54:42 发布

阅读量332

点赞数 14

文章标签：人工智能爬虫架构语言模型 pdf langchain ai

本文链接：https://blog.csdn.net/2401_85375186/article/details/141635259

版权

在这里插入图片描述

最近在学习大模型的知识，当我学到了prompt，发现这个东西可以做很多事情，偶然间想到了爬虫，如果让大模型去搞数据提取工作，我只给大模型HTML代码，写好prompt，岂不是美滋滋

说干就干，拿到豆瓣的电影列表HTML代码

<div class="indent">
<div class="">
    <p class="ul first"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/34453198/&#34;   title="梦境">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp&#34;   width="75" alt="梦境" class="">
                    </a>
            </td>
            <td valign="top">    
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/34453198/&#34;   class="">
                        梦境
                        / <span style="font-size:13px;">仙境 / Wonderland</span>
                    </a>
                    <p class="pl">2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话</p>             
                        <div class="star clearfix">
                                <span class="allstar30"></span>
                                <span class="rating_nums">6.4</span>
                                <span class="pl">(6899人评价)</span>
                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_34453198"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36085987/&#34;   title="犯罪都市4">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp&#34;   width="75" alt="犯罪都市4" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36085987/&#34;   class="">
                        犯罪都市4
                        / <span style="font-size:13px;">犯罪都市：铁拳清算(港) / The Roundup: Punishment</span>
                    </a>
                    <p class="pl">2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话</p>         
                        <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.6</span>
                                <span class="pl">(23916人评价)</span>
                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36085987"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/35494829/&#34;   title="红毯先生">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp&#34;   width="75" alt="红毯先生" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/35494829/&#34;   class="">
                        红毯先生
                        / <span style="font-size:13px;">全民明星 / The Movie Emperor</span>
                    </a>
                    <p class="pl">2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清...</p>
          <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.6</span>
                                <span class="pl">(78948人评价)</span>

                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35494829"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/24284175/&#34;   title="九龙城寨之围城">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp&#34;   width="75" alt="九龙城寨之围城" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/24284175/&#34;   class="">
                        九龙城寨之围城
                        / <span style="font-size:13px;">九龙城寨 / Twilight of the Warriors: Walled In</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>

                    <p class="pl">2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港...</p>   
                        <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">7.3</span>
                                <span class="pl">(231111人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_24284175"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/26925611/&#34;   title="你想活出怎样的人生">
                        <img src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp&#34;   width="75" alt="你想活出怎样的人生" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/26925611/&#34;   class="">
                        你想活出怎样的人生
                        / <span style="font-size:13px;">苍鹭与少年(港/台) / 男孩与苍鹭</span>
                    </a>
                    <p class="pl">2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌...</p>
                        <div class="star clearfix">
                                <span class="allstar40"></span>
                                <span class="rating_nums">7.6</span>
                                <span class="pl">(347094人评价)</span>
                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_26925611"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36246315/&#34;   title="神秘窥视">
                        <img src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp&#34;   width="75" alt="神秘窥视" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36246315/&#34;   class="">
                        神秘窥视
                        / <span style="font-size:13px;">窥探者(港/台) / 窥视者</span>
                    </a>
                    <p class="pl">2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯...</p>
  <div class="star clearfix">
                                <span class="allstar30"></span>
                                <span class="rating_nums">5.8</span>
                                <span class="pl">(4831人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36246315"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36149032/&#34;   title="我们一起摇太阳">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp&#34;   width="75" alt="我们一起摇太阳" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36149032/&#34;   class="">
                        我们一起摇太阳
                        / <span style="font-size:13px;">人间喜事 / 人生大事2</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
                    <p class="pl">2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延...</p>  
                        <div class="star clearfix">
                                <span class="allstar40"></span>
                                <span class="rating_nums">8.1</span>
                                <span class="pl">(168524人评价)</span>
                        </div>

                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36149032"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/26903951/&#34;   title="三叉戟">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp&#34;   width="75" alt="三叉戟" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/26903951/&#34;   class="">
                        三叉戟
                        / <span style="font-size:13px;">中国警察 / Three Old Boys</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
                    <p class="pl">2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海...</p>
 <div class="star clearfix">
                                <span class="allstar25"></span>
                                <span class="rating_nums">4.8</span>
                                <span class="pl">(18468人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_26903951"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/35640020/&#34;   title="她死了">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp&#34;   width="75" alt="她死了" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/35640020/&#34;   class="">
                        她死了
                        / <span style="font-size:13px;">Following / She's Dead</span>
                    </a>
                    <p class="pl">2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语</p>
  <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.7</span>
                                <span class="pl">(4944人评价)</span>

                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35640020"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">

                    <a class="nbg" href="https://movie.douban.com/subject/35898983/&#34;   title="职业杀手">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp&#34;   width="75" alt="职业杀手" class="">
                    </a>
            </td>

            <td valign="top">
                

                <div class="pl2">

                    <a href="https://movie.douban.com/subject/35898983/&#34;   class="">
                        职业杀手
                        / <span style="font-size:13px;">当杀手恋爱时(台) / 情迷假杀手</span>
                    </a>
                    <p class="pl">2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什...</p>
             <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">7.0</span>
                                <span class="pl">(15803人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35898983"></div>
</div>

    </div>

上面就是HTML代码，接下来我们写prompt

这是一段电影列表，去获取电影名（name),封面链接（picture),简介（info),评分（score),
评论人数（commetsNumber),请使用括号的单词作为属性名，以JSON数组的格式返回

写好之后一起发给大模型，我测试了几个国内的和ChatGPT3.5，都可以提取到数据

[    {        "name": "梦境",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp",        "info": "2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话",        "score": "6.4",        "commentsNumber": "6899人评价"    },    {        "name": "犯罪都市4",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp",        "info": "2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话",        "score": "6.6",        "commentsNumber": "23916人评价"    },    {        "name": "红毯先生",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp",        "info": "2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清",        "score": "6.6",        "commentsNumber": "78948人评价"    },    {        "name": "九龙城寨之围城",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp",        "info": "2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港",        "score": "7.3",        "commentsNumber": "231111人评价"    },    {        "name": "你想活出怎样的人生",        "picture": "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp",        "info": "2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌",        "score": "7.6",        "commentsNumber": "347094人评价"    },    {        "name": "神秘窥视",        "picture": "https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp",        "info": "2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯",        "score": "5.8",        "commentsNumber": "4831人评价"    },    {        "name": "我们一起摇太阳",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp",        "info": "2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延",        "score": "8.1",        "commentsNumber": "168524人评价"    },    {        "name": "三叉戟",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp",        "info": "2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海",        "score": "4.8",        "commentsNumber": "18468人评价"    },    {        "name": "她死了",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp",        "info": "2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语",        "score": "6.7",        "commentsNumber": "4944人评价"    },    {        "name": "职业杀手",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp",        "info": "2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什",        "score": "7.0",        "commentsNumber": "15803人评价"    }]

说实话，测试完之后我是相当的震惊，这意味着爬虫工程师可能真的不需要学习太多的知识了，当然这只是我的片面的认知，爬虫工程师之前要学习JS逆向，等一大堆的技术，有了大模型的能力，爬虫工程师可能只要考虑如何获取到HTML，如何写prompt提示词就可以了，这大大降低了爬虫的难度。

未来可能爬虫工程师都要学习大模型了，又或者爬虫这个岗位会以其他的形式存在

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。

⑤AI+零售：智能推荐系统和库存管理优化了用户体验和运营成本。AI可以分析用户行为，提供个性化商品推荐，同时优化库存，减少浪费。

⑥AI+交通：自动驾驶和智能交通管理提升了交通安全和效率。AI技术可以实现车辆自动驾驶，并优化交通信号控制，减少拥堵。

…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段
在这里插入图片描述

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。
在这里插入图片描述

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。
在这里插入图片描述

在这里插入图片描述

四、LLM面试题

在这里插入图片描述

如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模型资源包，这里全都有！无偿分享！！！

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~
在这里插入图片描述

大模型玩家

关注

14
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
AI时代预警：大模型崛起，爬虫工程师的未来将何去何从？

最近在学习大模型的知识，当我学到了prompt，发现这个东西可以做很多事情，偶然间想到了爬虫，如果让大模型去搞数据提取工作，我只给大模型HTML代码，写好prompt，岂不是美滋滋说干就干，拿到豆瓣的电影列表HTML代码上面就是HTML代码，接下来我们写prompt写好之后一起发给大模型，我测试了几个国内的和ChatGPT3.5，都可以提取到数据。
复制链接

扫一扫