自然语言处理
文章平均质量分 59
coleman114
加油
展开
-
常用工具集参考
建立自己常用的工具集,养成良好习惯。原创 2024-04-27 03:26:13 · 94 阅读 · 0 评论 -
1-10如何设计一个好的流程文件
我们做设计工作时候,需要养成一个好的习惯,如变成记录。原创 2024-04-24 23:38:14 · 94 阅读 · 0 评论 -
1-9文本数据处理方法PPT下载
本文借鉴了4类容器及字符串的处理基本知识,仅供学习,严禁用于商业用途。原创 2024-04-23 17:14:43 · 91 阅读 · 0 评论 -
1-8大模型标注自然语言
print(value['input'],['积极' if '积极' in output['result'] else '消极'][0])value['output'] = ['积极' if '积极' in output['result'] else '消极'][0]output_type = {0: '积极', 1: '消极', 2:'中性'}#output_type = {0: '积极', 1: '消极'}output_type = {0: '积极', 1: '消极'}# 删除label列的所有空行。原创 2024-04-10 20:04:18 · 351 阅读 · 0 评论 -
1-5解析xml格式文件,并转化成jsonl格式文件
output_type={'like':'喜欢','happiness':'高兴','surprise':'惊讶','disgust':'恐惧','fear':'害怕','anger':'生气','sadness':'忧伤','none':'无'}value['instruction']='请分析评论的情感色彩,回复积极或者消极'print('处理完成,结果已保存至 outputweibo.jsonl')# 将列表保存为JSONL文件。# 构建由字典组成的列表。原创 2024-04-10 20:35:23 · 138 阅读 · 0 评论 -
1-6jsonl格式文件开源文件转星火文件
将数据保存为Excel文件。原创 2024-04-10 20:15:58 · 123 阅读 · 0 评论 -
1-7-2爬虫获取百度贴吧评论信息
rating = rating_tag['title'] if rating_tag else '无评分'# value['评论者'] = commenter。value['评论内容'] = content。for i in range(2): # 假定爬行前10页的评论?# value['评分'] = rating。# 完整的URL拼接(每页20条评论)# # HTML内容的打印返回。# 同样的方法分析评论。# URL豆瓣电影评论页面。# # 检查请求是否成功。# # URL初始页面。原创 2024-04-10 19:50:52 · 248 阅读 · 0 评论 -
1-7获取豆瓣网页评论信息
rating = rating_tag['title'] if rating_tag else '无评分'有时候需要在网页获取一些资源信息,可以通过爬虫的方式获取,注意多页面数据的获取在循环结构中设置。value['评论内容'] = content。for i in range(2): # 假定爬行前10页的评论?value['评分'] = rating。# 完整的URL拼接(每页20条评论)2、按照网页结构形式,逐层查看自己想要的内容。# 同样的方法分析评论。# # URL初始页面。原创 2024-04-10 15:22:22 · 273 阅读 · 0 评论 -
1-4读取指定文件夹里的text文件名及内容
path = 'D:\\OpenAI\\yolov5\\datasets\\\coco128\\labels' # 请替换为实际文件夹路径。value['instruction'] = '请根据古诗题目,回复古诗内容,要求对仗工整押韵'原创 2024-04-10 15:06:04 · 138 阅读 · 0 评论 -
1-3古诗内容提取json格式转jsonl
value['instruction'] = '请根据古诗词的题目,回复古诗内容,要求对仗工整,押韵'if data_list[i]['title'][0]!2、读取jsonl格式文件。原创 2024-04-10 14:55:11 · 282 阅读 · 0 评论 -
1-2对联数据转化成jsonl格式
value['instruction'] = '请根据上联,回复下联,要求对仗工整'# 读取train.csv文件内容为DataFrame。通过csv方式读取对联数据。上联读取和下联读取分开进行。使用python工具。转化成jsonl格式。原创 2024-04-10 11:04:45 · 173 阅读 · 0 评论 -
1-1自然语言csv格式清洗成jsonl格式
使用python,使用pandas库读取csv格式文件,去掉label列的空行,并重置索引。value['instrution']='请分析评论的情感色彩,仅回复积极或者消极'output_type={0:'积极',1:'消极'}# 删除label列的所有空行。原创 2024-04-10 10:33:30 · 328 阅读 · 0 评论