AI时代，大模型可能会干掉爬虫工程师

最新推荐文章于 2024-08-05 15:57:37 发布

功城师

最新推荐文章于 2024-08-05 15:57:37 发布

阅读量815

点赞数 8

文章标签：人工智能爬虫 php AI大模型大模型自然语言处理 AI

本文链接：https://blog.csdn.net/qingkahui24689/article/details/140868443

版权

最近在学习大模型的知识，当我学到了prompt，发现这个东西可以做很多事情，偶然间想到了爬虫，如果让大模型去搞数据提取工作，我只给大模型HTML代码，写好prompt，岂不是美滋滋

说干就干，拿到豆瓣的电影列表HTML代码

<div class="indent">
<div class="">
    <p class="ul first"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/34453198/&#34;   title="梦境">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp&#34;   width="75" alt="梦境" class="">
                    </a>
            </td>
            <td valign="top">    
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/34453198/&#34;   class="">
                        梦境
                        / <span style="font-size:13px;">仙境 / Wonderland</span>
                    </a>
                    <p class="pl">2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话</p>             
                        <div class="star clearfix">
                                <span class="allstar30"></span>
                                <span class="rating_nums">6.4</span>
                                <span class="pl">(6899人评价)</span>
                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_34453198"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36085987/&#34;   title="犯罪都市4">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp&#34;   width="75" alt="犯罪都市4" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36085987/&#34;   class="">
                        犯罪都市4
                        / <span style="font-size:13px;">犯罪都市：铁拳清算(港) / The Roundup: Punishment</span>
                    </a>
                    <p class="pl">2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话</p>         
                        <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.6</span>
                                <span class="pl">(23916人评价)</span>
                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36085987"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/35494829/&#34;   title="红毯先生">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp&#34;   width="75" alt="红毯先生" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/35494829/&#34;   class="">
                        红毯先生
                        / <span style="font-size:13px;">全民明星 / The Movie Emperor</span>
                    </a>
                    <p class="pl">2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清...</p>
          <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.6</span>
                                <span class="pl">(78948人评价)</span>

                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35494829"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/24284175/&#34;   title="九龙城寨之围城">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp&#34;   width="75" alt="九龙城寨之围城" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/24284175/&#34;   class="">
                        九龙城寨之围城
                        / <span style="font-size:13px;">九龙城寨 / Twilight of the Warriors: Walled In</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>

                    <p class="pl">2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港...</p>   
                        <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">7.3</span>
                                <span class="pl">(231111人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_24284175"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/26925611/&#34;   title="你想活出怎样的人生">
                        <img src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp&#34;   width="75" alt="你想活出怎样的人生" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/26925611/&#34;   class="">
                        你想活出怎样的人生
                        / <span style="font-size:13px;">苍鹭与少年(港/台) / 男孩与苍鹭</span>
                    </a>
                    <p class="pl">2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌...</p>
                        <div class="star clearfix">
                                <span class="allstar40"></span>
                                <span class="rating_nums">7.6</span>
                                <span class="pl">(347094人评价)</span>
                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_26925611"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36246315/&#34;   title="神秘窥视">
                        <img src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp&#34;   width="75" alt="神秘窥视" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36246315/&#34;   class="">
                        神秘窥视
                        / <span style="font-size:13px;">窥探者(港/台) / 窥视者</span>
                    </a>
                    <p class="pl">2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯...</p>
  <div class="star clearfix">
                                <span class="allstar30"></span>
                                <span class="rating_nums">5.8</span>
                                <span class="pl">(4831人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36246315"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36149032/&#34;   title="我们一起摇太阳">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp&#34;   width="75" alt="我们一起摇太阳" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36149032/&#34;   class="">
                        我们一起摇太阳
                        / <span style="font-size:13px;">人间喜事 / 人生大事2</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
                    <p class="pl">2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延...</p>  
                        <div class="star clearfix">
                                <span class="allstar40"></span>
                                <span class="rating_nums">8.1</span>
                                <span class="pl">(168524人评价)</span>
                        </div>

                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36149032"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/26903951/&#34;   title="三叉戟">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp&#34;   width="75" alt="三叉戟" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/26903951/&#34;   class="">
                        三叉戟
                        / <span style="font-size:13px;">中国警察 / Three Old Boys</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
                    <p class="pl">2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海...</p>
 <div class="star clearfix">
                                <span class="allstar25"></span>
                                <span class="rating_nums">4.8</span>
                                <span class="pl">(18468人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_26903951"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/35640020/&#34;   title="她死了">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp&#34;   width="75" alt="她死了" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/35640020/&#34;   class="">
                        她死了
                        / <span style="font-size:13px;">Following / She's Dead</span>
                    </a>
                    <p class="pl">2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语</p>
  <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.7</span>
                                <span class="pl">(4944人评价)</span>

                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35640020"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">

                    <a class="nbg" href="https://movie.douban.com/subject/35898983/&#34;   title="职业杀手">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp&#34;   width="75" alt="职业杀手" class="">
                    </a>
            </td>

            <td valign="top">
                

                <div class="pl2">

                    <a href="https://movie.douban.com/subject/35898983/&#34;   class="">
                        职业杀手
                        / <span style="font-size:13px;">当杀手恋爱时(台) / 情迷假杀手</span>
                    </a>
                    <p class="pl">2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什...</p>
             <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">7.0</span>
                                <span class="pl">(15803人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35898983"></div>
</div>

    </div>

上面就是HTML代码，接下来我们写prompt

这是一段电影列表，去获取电影名（name),封面链接（picture),简介（info),评分（score),
评论人数（commetsNumber),请使用括号的单词作为属性名，以JSON数组的格式返回

写好之后一起发给大模型，我测试了几个国内的和ChatGPT3.5，都可以提取到数据

[    {        "name": "梦境",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp",        "info": "2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话",        "score": "6.4",        "commentsNumber": "6899人评价"    },    {        "name": "犯罪都市4",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp",        "info": "2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话",        "score": "6.6",        "commentsNumber": "23916人评价"    },    {        "name": "红毯先生",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp",        "info": "2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清",        "score": "6.6",        "commentsNumber": "78948人评价"    },    {        "name": "九龙城寨之围城",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp",        "info": "2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港",        "score": "7.3",        "commentsNumber": "231111人评价"    },    {        "name": "你想活出怎样的人生",        "picture": "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp",        "info": "2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌",        "score": "7.6",        "commentsNumber": "347094人评价"    },    {        "name": "神秘窥视",        "picture": "https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp",        "info": "2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯",        "score": "5.8",        "commentsNumber": "4831人评价"    },    {        "name": "我们一起摇太阳",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp",        "info": "2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延",        "score": "8.1",        "commentsNumber": "168524人评价"    },    {        "name": "三叉戟",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp",        "info": "2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海",        "score": "4.8",        "commentsNumber": "18468人评价"    },    {        "name": "她死了",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp",        "info": "2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语",        "score": "6.7",        "commentsNumber": "4944人评价"    },    {        "name": "职业杀手",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp",        "info": "2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什",        "score": "7.0",        "commentsNumber": "15803人评价"    }]

说实话，测试完之后我是相当的震惊，这意味着爬虫工程师可能真的不需要学习太多的知识了，当然这只是我的片面的认知，爬虫工程师之前要学习JS逆向，等一大堆的技术，有了大模型的能力，爬虫工程师可能只要考虑如何获取到HTML，如何写prompt提示词就可以了，这大大降低了爬虫的难度。

未来可能爬虫工程师都要学习大模型了，又或者爬虫这个岗位会以其他的形式存在

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求：大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能，学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

功城师

关注

8
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
AI时代，大模型可能会干掉爬虫工程师

最近在学习大模型的知识，当我学到了prompt，发现这个东西可以做很多事情，偶然间想到了爬虫，如果让大模型去搞数据提取工作，我只给大模型HTML代码，写好prompt，岂不是美滋滋说干就干，拿到豆瓣的电影列表HTML代码上面就是HTML代码，接下来我们写prompt写好之后一起发给大模型，我测试了几个国内的和ChatGPT3.5，都可以提取到数据。
复制链接

扫一扫