AI时代，大模型可能会干掉爬虫工程师

AI劳模

于 2024-07-29 18:00:00 发布

阅读量1.2k

点赞数 32

文章标签：人工智能爬虫 php ai 大模型

本文链接：https://blog.csdn.net/2401_85373396/article/details/140767224

版权

在这里插入图片描述

最近在学习大模型的知识，当我学到了prompt，发现这个东西可以做很多事情，偶然间想到了爬虫，如果让大模型去搞数据提取工作，我只给大模型HTML代码，写好prompt，岂不是美滋滋

说干就干，拿到豆瓣的电影列表HTML代码

<div class="indent">
<div class="">
    <p class="ul first"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/34453198/&#34;   title="梦境">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp&#34;   width="75" alt="梦境" class="">
                    </a>
            </td>
            <td valign="top">    
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/34453198/&#34;   class="">
                        梦境
                        / <span style="font-size:13px;">仙境 / Wonderland</span>
                    </a>
                    <p class="pl">2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话</p>             
                        <div class="star clearfix">
                                <span class="allstar30"></span>
                                <span class="rating_nums">6.4</span>
                                <span class="pl">(6899人评价)</span>
                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_34453198"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36085987/&#34;   title="犯罪都市4">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp&#34;   width="75" alt="犯罪都市4" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36085987/&#34;   class="">
                        犯罪都市4
                        / <span style="font-size:13px;">犯罪都市：铁拳清算(港) / The Roundup: Punishment</span>
                    </a>
                    <p class="pl">2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话</p>         
                        <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.6</span>
                                <span class="pl">(23916人评价)</span>
                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36085987"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/35494829/&#34;   title="红毯先生">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp&#34;   width="75" alt="红毯先生" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/35494829/&#34;   class="">
                        红毯先生
                        / <span style="font-size:13px;">全民明星 / The Movie Emperor</span>
                    </a>
                    <p class="pl">2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清...</p>
          <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.6</span>
                                <span class="pl">(78948人评价)</span>

                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35494829"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/24284175/&#34;   title="九龙城寨之围城">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp&#34;   width="75" alt="九龙城寨之围城" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/24284175/&#34;   class="">
                        九龙城寨之围城
                        / <span style="font-size:13px;">九龙城寨 / Twilight of the Warriors: Walled In</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>

                    <p class="pl">2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港...</p>   
                        <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">7.3</span>
                                <span class="pl">(231111人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_24284175"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/26925611/&#34;   title="你想活出怎样的人生">
                        <img src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp&#34;   width="75" alt="你想活出怎样的人生" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/26925611/&#34;   class="">
                        你想活出怎样的人生
                        / <span style="font-size:13px;">苍鹭与少年(港/台) / 男孩与苍鹭</span>
                    </a>
                    <p class="pl">2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌...</p>
                        <div class="star clearfix">
                                <span class="allstar40"></span>
                                <span class="rating_nums">7.6</span>
                                <span class="pl">(347094人评价)</span>
                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_26925611"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36246315/&#34;   title="神秘窥视">
                        <img src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp&#34;   width="75" alt="神秘窥视" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36246315/&#34;   class="">
                        神秘窥视
                        / <span style="font-size:13px;">窥探者(港/台) / 窥视者</span>
                    </a>
                    <p class="pl">2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯...</p>
  <div class="star clearfix">
                                <span class="allstar30"></span>
                                <span class="rating_nums">5.8</span>
                                <span class="pl">(4831人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36246315"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/36149032/&#34;   title="我们一起摇太阳">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp&#34;   width="75" alt="我们一起摇太阳" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/36149032/&#34;   class="">
                        我们一起摇太阳
                        / <span style="font-size:13px;">人间喜事 / 人生大事2</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
                    <p class="pl">2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延...</p>  
                        <div class="star clearfix">
                                <span class="allstar40"></span>
                                <span class="rating_nums">8.1</span>
                                <span class="pl">(168524人评价)</span>
                        </div>

                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_36149032"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/26903951/&#34;   title="三叉戟">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp&#34;   width="75" alt="三叉戟" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/26903951/&#34;   class="">
                        三叉戟
                        / <span style="font-size:13px;">中国警察 / Three Old Boys</span>
                    </a>
                        <span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
                    <p class="pl">2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海...</p>
 <div class="star clearfix">
                                <span class="allstar25"></span>
                                <span class="rating_nums">4.8</span>
                                <span class="pl">(18468人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_26903951"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">
                    <a class="nbg" href="https://movie.douban.com/subject/35640020/&#34;   title="她死了">
                        <img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp&#34;   width="75" alt="她死了" class="">
                    </a>
            </td>
            <td valign="top">
                <div class="pl2">
                    <a href="https://movie.douban.com/subject/35640020/&#34;   class="">
                        她死了
                        / <span style="font-size:13px;">Following / She's Dead</span>
                    </a>
                    <p class="pl">2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语</p>
  <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">6.7</span>
                                <span class="pl">(4944人评价)</span>

                        </div>
                </div>

            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35640020"></div>
    <p class="ul"></p>
    <table width="100%" class="">
        <tbody><tr class="item">
            <td width="100" valign="top">

                    <a class="nbg" href="https://movie.douban.com/subject/35898983/&#34;   title="职业杀手">
                        <img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp&#34;   width="75" alt="职业杀手" class="">
                    </a>
            </td>

            <td valign="top">
                

                <div class="pl2">

                    <a href="https://movie.douban.com/subject/35898983/&#34;   class="">
                        职业杀手
                        / <span style="font-size:13px;">当杀手恋爱时(台) / 情迷假杀手</span>
                    </a>
                    <p class="pl">2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什...</p>
             <div class="star clearfix">
                                <span class="allstar35"></span>
                                <span class="rating_nums">7.0</span>
                                <span class="pl">(15803人评价)</span>

                        </div>
                </div>
            </td>
        </tr>
    </tbody></table>
    <div id="collect_form_35898983"></div>
</div>

    </div>

上面就是HTML代码，接下来我们写prompt

这是一段电影列表，去获取电影名（name),封面链接（picture),简介（info),评分（score),
评论人数（commetsNumber),请使用括号的单词作为属性名，以JSON数组的格式返回

写好之后一起发给大模型，我测试了几个国内的和ChatGPT3.5，都可以提取到数据

[    {        "name": "梦境",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp",        "info": "2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话",        "score": "6.4",        "commentsNumber": "6899人评价"    },    {        "name": "犯罪都市4",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp",        "info": "2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话",        "score": "6.6",        "commentsNumber": "23916人评价"    },    {        "name": "红毯先生",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp",        "info": "2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清",        "score": "6.6",        "commentsNumber": "78948人评价"    },    {        "name": "九龙城寨之围城",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp",        "info": "2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港",        "score": "7.3",        "commentsNumber": "231111人评价"    },    {        "name": "你想活出怎样的人生",        "picture": "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp",        "info": "2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌",        "score": "7.6",        "commentsNumber": "347094人评价"    },    {        "name": "神秘窥视",        "picture": "https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp",        "info": "2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯",        "score": "5.8",        "commentsNumber": "4831人评价"    },    {        "name": "我们一起摇太阳",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp",        "info": "2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延",        "score": "8.1",        "commentsNumber": "168524人评价"    },    {        "name": "三叉戟",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp",        "info": "2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海",        "score": "4.8",        "commentsNumber": "18468人评价"    },    {        "name": "她死了",        "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp",        "info": "2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语",        "score": "6.7",        "commentsNumber": "4944人评价"    },    {        "name": "职业杀手",        "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp",        "info": "2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什",        "score": "7.0",        "commentsNumber": "15803人评价"    }]

说实话，测试完之后我是相当的震惊，这意味着爬虫工程师可能真的不需要学习太多的知识了，当然这只是我的片面的认知，爬虫工程师之前要学习JS逆向，等一大堆的技术，有了大模型的能力，爬虫工程师可能只要考虑如何获取到HTML，如何写prompt提示词就可以了，这大大降低了爬虫的难度。

未来可能爬虫工程师都要学习大模型了，又或者爬虫这个岗位会以其他的形式存在

如何学习大模型 AI ？

由于AI的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

请添加图片描述

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

请添加图片描述

AI劳模

关注

32
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
AI时代，大模型可能会干掉爬虫工程师

最近在学习大模型的知识，当我学到了prompt，发现这个东西可以做很多事情，偶然间想到了爬虫，如果让大模型去搞数据提取工作，我只给大模型HTML代码，写好prompt，岂不是美滋滋说干就干，拿到豆瓣的电影列表HTML代码上面就是HTML代码，接下来我们写prompt写好之后一起发给大模型，我测试了几个国内的和ChatGPT3.5，都可以提取到数据。
复制链接

扫一扫