最近在学习大模型的知识,当我学到了prompt,发现这个东西可以做很多事情,偶然间想到了爬虫,如果让大模型去搞数据提取工作,我只给大模型HTML代码,写好prompt,岂不是美滋滋
说干就干,拿到豆瓣的电影列表HTML代码
<div class="indent">
<div class="">
<p class="ul first"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/34453198/" title="梦境">
<img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp" width="75" alt="梦境" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/34453198/" class="">
梦境
/ <span style="font-size:13px;">仙境 / Wonderland</span>
</a>
<p class="pl">2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话</p>
<div class="star clearfix">
<span class="allstar30"></span>
<span class="rating_nums">6.4</span>
<span class="pl">(6899人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_34453198"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/36085987/" title="犯罪都市4">
<img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp" width="75" alt="犯罪都市4" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/36085987/" class="">
犯罪都市4
/ <span style="font-size:13px;">犯罪都市:铁拳清算(港) / The Roundup: Punishment</span>
</a>
<p class="pl">2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话</p>
<div class="star clearfix">
<span class="allstar35"></span>
<span class="rating_nums">6.6</span>
<span class="pl">(23916人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_36085987"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/35494829/" title="红毯先生">
<img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp" width="75" alt="红毯先生" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/35494829/" class="">
红毯先生
/ <span style="font-size:13px;">全民明星 / The Movie Emperor</span>
</a>
<p class="pl">2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清...</p>
<div class="star clearfix">
<span class="allstar35"></span>
<span class="rating_nums">6.6</span>
<span class="pl">(78948人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_35494829"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/24284175/" title="九龙城寨之围城">
<img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp" width="75" alt="九龙城寨之围城" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/24284175/" class="">
九龙城寨之围城
/ <span style="font-size:13px;">九龙城寨 / Twilight of the Warriors: Walled In</span>
</a>
<span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
<p class="pl">2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港...</p>
<div class="star clearfix">
<span class="allstar35"></span>
<span class="rating_nums">7.3</span>
<span class="pl">(231111人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_24284175"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/26925611/" title="你想活出怎样的人生">
<img src="https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp" width="75" alt="你想活出怎样的人生" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/26925611/" class="">
你想活出怎样的人生
/ <span style="font-size:13px;">苍鹭与少年(港/台) / 男孩与苍鹭</span>
</a>
<p class="pl">2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌...</p>
<div class="star clearfix">
<span class="allstar40"></span>
<span class="rating_nums">7.6</span>
<span class="pl">(347094人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_26925611"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/36246315/" title="神秘窥视">
<img src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp" width="75" alt="神秘窥视" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/36246315/" class="">
神秘窥视
/ <span style="font-size:13px;">窥探者(港/台) / 窥视者</span>
</a>
<p class="pl">2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯...</p>
<div class="star clearfix">
<span class="allstar30"></span>
<span class="rating_nums">5.8</span>
<span class="pl">(4831人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_36246315"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/36149032/" title="我们一起摇太阳">
<img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp" width="75" alt="我们一起摇太阳" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/36149032/" class="">
我们一起摇太阳
/ <span style="font-size:13px;">人间喜事 / 人生大事2</span>
</a>
<span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
<p class="pl">2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延...</p>
<div class="star clearfix">
<span class="allstar40"></span>
<span class="rating_nums">8.1</span>
<span class="pl">(168524人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_36149032"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/26903951/" title="三叉戟">
<img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp" width="75" alt="三叉戟" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/26903951/" class="">
三叉戟
/ <span style="font-size:13px;">中国警察 / Three Old Boys</span>
</a>
<span style="font-size: 13px; padding-left: 3px; color: #00A65F;">[可播放]</span>
<p class="pl">2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海...</p>
<div class="star clearfix">
<span class="allstar25"></span>
<span class="rating_nums">4.8</span>
<span class="pl">(18468人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_26903951"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/35640020/" title="她死了">
<img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp" width="75" alt="她死了" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/35640020/" class="">
她死了
/ <span style="font-size:13px;">Following / She's Dead</span>
</a>
<p class="pl">2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语</p>
<div class="star clearfix">
<span class="allstar35"></span>
<span class="rating_nums">6.7</span>
<span class="pl">(4944人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_35640020"></div>
<p class="ul"></p>
<table width="100%" class="">
<tbody><tr class="item">
<td width="100" valign="top">
<a class="nbg" href="https://movie.douban.com/subject/35898983/" title="职业杀手">
<img src="https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp" width="75" alt="职业杀手" class="">
</a>
</td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/35898983/" class="">
职业杀手
/ <span style="font-size:13px;">当杀手恋爱时(台) / 情迷假杀手</span>
</a>
<p class="pl">2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什...</p>
<div class="star clearfix">
<span class="allstar35"></span>
<span class="rating_nums">7.0</span>
<span class="pl">(15803人评价)</span>
</div>
</div>
</td>
</tr>
</tbody></table>
<div id="collect_form_35898983"></div>
</div>
</div>
上面就是HTML代码,接下来我们写prompt
这是一段电影列表,去获取电影名(name),封面链接(picture),简介(info),评分(score),
评论人数(commetsNumber),请使用括号的单词作为属性名,以JSON数组的格式返回
写好之后一起发给大模型,我测试了几个国内的和ChatGPT3.5,都可以提取到数据
[ { "name": "梦境", "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2910694617.webp", "info": "2024-06-05(韩国) / 汤唯 / 裴秀智 / 朴宝剑 / 郑有美 / 崔宇植 / 孔刘 / 鲍起静 / 崔武成 / 全秀芝 / 韩国 / 金泰勇 / 113分钟 / 梦境 / 剧情 / 爱情 / 科幻 / 金泰勇 Tae-Yong Kim / 韩语 / 英语 / 汉语普通话", "score": "6.4", "commentsNumber": "6899人评价" }, { "name": "犯罪都市4", "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2903301473.webp", "info": "2024-02-23(柏林电影节) / 2024-04-24(韩国) / 马东锡 / 金武烈 / 李东辉 / 朴智焕 / 李主傧 / 金敏载 / 金英熊 / 韩国 / 许明行 / 110分钟 / 犯罪都市4 / 动作 / 犯罪 / 惊悚 / 吴相浩 Sang-ho Oh / 韩语 / 英语 / 菲律宾语 / 汉语普通话", "score": "6.6", "commentsNumber": "23916人评价" }, { "name": "红毯先生", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905249058.webp", "info": "2023-09-14(多伦多电影节) / 2023-10-14(平遥国际电影展) / 2024-02-10(中国大陆点映) / 2024-03-15(中国大陆) / 刘德华 / 单立文 / 瑞玛·席丹 / 余伟国 / 宁浩 / 林熙蕾 / 梁家辉 / 杨千嬅 / 王晶 / 张子贤 / 刘漪琳 / 周炜 / 孙阳 / 薛宝鹤 / 马东 / 刘若清", "score": "6.6", "commentsNumber": "78948人评价" }, { "name": "九龙城寨之围城", "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2907242293.webp", "info": "2024-05-01(中国大陆/中国香港) / 古天乐 / 洪金宝 / 任贤齐 / 林峯 / 刘俊谦 / 黄德斌 / 伍允龙 / 胡子彤 / 张文杰 / 廖子妤 / 郭富城 / 蔡思韵 / 黄梓乐 / 朱栢康 / 乔靖夫 / 张松枝 / 罗永昌 / 苏嘉伦 / 李叶健 / 王尹菁 / 郑仲恒 / 中国香港", "score": "7.3", "commentsNumber": "231111人评价" }, { "name": "你想活出怎样的人生", "picture": "https://img9.doubanio.com/view/photo/s_ratio_poster/public/p2906527755.webp", "info": "2023-07-14(日本) / 2024-04-03(中国大陆) / 山时聪真 / 菅田将晖 / 柴崎幸 / 爱缪 / 木村佳乃 / 木村拓哉 / 竹下景子 / 风吹淳 / 大竹忍 / 阿川佐和子 / 国村隼 / 小林薰 / 泷泽凯伦 / 火野正平 / 刘昊然 / 大鹏 / 高圆圆 / 朱亚文 / 张含韵 / 陈建斌", "score": "7.6", "commentsNumber": "347094人评价" }, { "name": "神秘窥视", "picture": "https://img2.doubanio.com/view/photo/s_ratio_poster/public/p2905033491.webp", "info": "2024-06-05(法国) / 2024-06-14(美国) / 达科塔·范宁 / 乔治娜·坎贝尔 / 欧文·弗热瑞 / 奥利弗·芬尼根 / 阿利斯泰尔·布拉默 / 约翰·林奇 / 希欧布罕·休莱特 / 汉娜·达甘 / 艾米莉·达甘 / 乔尔·菲格罗亚 / 泰博尔·米歇尔·霍隆韦恩 / 安东尼·莫里斯", "score": "5.8", "commentsNumber": "4831人评价" }, { "name": "我们一起摇太阳", "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2904467472.webp", "info": "2024-02-10(中国大陆点映) / 2024-03-30(中国大陆) / 彭昱畅 / 李庚希 / 徐帆 / 高亚麟 / 刘丹 / 王迅 / 宋伊人 / 刘迅 / 李晨 / 杨玏 / 李建义 / 李晓川 / 陈玺旭 / 王守阳 / 韩知朗 / 中国大陆 / 中国香港 / 韩延 / 129分钟 / 剧情 / 爱情 / 家庭 / 韩延", "score": "8.1", "commentsNumber": "168524人评价" }, { "name": "三叉戟", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907038150.webp", "info": "2024-05-24(中国大陆) / 黄志忠 / 姜武 / 郭涛 / 欧豪 / 韩庚 / 董勇 / 金士杰 / 魏晨 / 邢佳栋 / 苏鑫 / 徐励 / 包贝尔 / 周云鹏 / 黄璐 / 陈都灵 / 赵子琪 / 何杜娟 / 赵龙豪 / 胡晓光 / 斌子 / 周梦 / 陈国星 / 马浴柯 / 孙之鸿 / 曹卫宇 / 柳小海", "score": "4.8", "commentsNumber": "18468人评价" }, { "name": "她死了", "picture": "https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2907283458.webp", "info": "2024-05-15(韩国) / 卞约汉 / 申惠善 / 李艾 / 尹炳熙 / 李世朗 / 张成范 / 韩国 / 金世辉 / 103分钟 / 她死了 / 悬疑 / 惊悚 / 金世辉 Se-hwi Kim / 韩语", "score": "6.7", "commentsNumber": "4944人评价" }, { "name": "职业杀手", "picture": "https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2908994553.webp", "info": "2023-09-05(威尼斯电影节) / 2024-06-07(美国网络) / 格伦·鲍威尔 / 阿德里娅·阿霍纳 / 奥斯丁·阿梅里奥 / 瑞塔·希尔丽夫 / 桑杰伊·拉奥 / 莫莉·伯纳德 / 埃文·霍茲曼 / 格拉伦·布莱恩特·班克斯 / 麦克·马科夫 / 布莱恩特·卡罗尔 / 恩里克·布什", "score": "7.0", "commentsNumber": "15803人评价" }]
说实话,测试完之后我是相当的震惊,这意味着爬虫工程师可能真的不需要学习太多的知识了,当然这只是我的片面的认知,爬虫工程师之前要学习JS逆向,等一大堆的技术,有了大模型的能力,爬虫工程师可能只要考虑如何获取到HTML,如何写prompt提示词就可以了,这大大降低了爬虫的难度。
未来可能爬虫工程师都要学习大模型了,又或者爬虫这个岗位会以其他的形式存在
大模型岗位需求
大模型时代,企业对人才的需求变了,AIGC相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。
掌握大模型技术你还能拥有更多可能性:
• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;
• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;
• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;
• 更优质的项目可以为未来创新创业提供基石。
可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好,希望能够真正帮助到大家。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
零基础入门AI大模型
今天贴心为大家准备好了一系列AI大模型资源,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
有需要的小伙伴,可以点击下方链接免费领取【保证100%免费
】
1.学习路线图
如果大家想领取完整的学习路线及大模型学习资料包,可以扫下方二维码获取
👉2.大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。(篇幅有限,仅展示部分)
大模型教程
👉3.大模型经典学习电子书👈
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(篇幅有限,仅展示部分,公众号内领取)
电子书
👉4.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(篇幅有限,仅展示部分,公众号内领取)
大模型面试
**因篇幅有限,仅展示部分资料,**有需要的小伙伴,可以点击下方链接免费领取【保证100%免费
】
**或扫描下方二维码领取 **