- 博客(39)
- 收藏
- 关注
RSS订阅原创 chatgpt能做本地化部署，训练私有化学科领域数据吗？-----模型只在工具之上，想法只在算力范围之内
总结一句话3090显卡可以部署可以运用，但很难训练。首先介绍一下秋葉aaaki大神的本地化部署的工具，我的配置是一块是3090，目前12G显存.bat，如果配置不够好，可以尝试下面12G以下我尝试8G与12G的横向比较，对于客观问题，主要以8G为主，主观问题还是看看12G给我的看法，客观问题8G这里还加了一点主观评价，我觉得很好玩，这也可能是我把旁边Temperature机器感情拉大的缘故，不会太教科书。你知道更新统鱼鳞山组是什么吗，如果知道请阐述一下。
2023-04-24 23:40:12
3436
原创 Stable diffusion中mov2mov
这段时间成迷于AI绘画，目前已经学会了视频转成二次元风格。这里利用了秋葉aaaki大佬的Stable diffusion WebUI，和mov2mov插件，在controlnet 插件中利用了openpose来约束每张图的动作和手部，减少出现多只手和多个脚，同时还利用了controlnet插件中的depth来约束一下整体人物，减少出现多个人。
2023-04-17 11:49:47
5224
原创 利用地质年代图谱精准判读文献中的地质时间
地质时间是地球科学数据的重要基础标签，其测年结果直接影响地学相关的物质分析与地球演化预期。因此，准确获知样品的地质时间对地学分析具有重要意义。随着深时数字地球（DDE）项目的研究深入，越来越多历史文献中的地质样品及其理化属性信息获得关注。
2022-09-15 11:56:05
850
原创 Numpy学习笔记
Numpy 学习是深度学习的基础，因为无论pytorch还是tensorflow他们的数据形式都是ndarray形式，都是几乘法几维的，这里觉得Numpy主要的就是[ , ]前面是行后面是列，也可以叫做前面的0轴，后面是1轴，其他的就是按照代码格式找找敲一下就行。还有就是reshape变化维度信息。
2022-09-07 18:06:40
366
原创 matplotlib笔记之折线图和直方图
类似的还有散点图和直方图，我个人感觉直方图会用到，散点图多用于聚类之后准备写一篇现在市面上常用的聚类方法。
2022-09-07 10:56:27
261
原创 matplotlib笔记之折线图
matplotlib是python对数据呈现的形式之一，分别有折线图，散点图和折线图，当然你问我不学这个可以数据展示吗，回答当然是的，现在已经有网址可以做到数据展示如：https://echarts.apache.org/zh/index.html。但是还是需要看懂，至少不提美观的时候快速生成一个图看一下数据变化也是可好的。
2022-09-06 00:01:18
828
原创 将csv中根据某列重复数据将整行删除
目前对接需求，是要根据某列重复数据，将重复数据整行删除。其中将会遇到一个小问题，批量文件编码会有问题，可能出现非utf-8编码
2022-08-01 01:42:58
1073
原创 基于沉积学教材的自顶向下的概念抽取（以沉积相为例为例）
在文献挖掘的过程中，由于文献中的语句信息量稀疏会导致自然语言处理（NLP）任务效果不好。在数据量小的情况下，不妨换一个思路，将抽取对象从信息量稀疏的文本改成信息量密集的教材，积累第一批可用的定义用于后续文本的抽取。基于此，本文将以中国石油大学的《沉积岩石学》讲义为范本，实现对教材中沉积结构和沉积相的抽取。教材的特点：文本风格高度一致，很多概念都是在标题中，或者是一个特定的格式，**它永远不会像*人的嘴那么会骗人**。（无针对，无引站，只是感想）这份教程的特点： 概念非常的鲜明，此外结构非常的好。....
2022-07-26 14:30:19
420
1
原创 文本表格提取及其文本名称匹配
当我们要抽取表格内容，表格标题和文本段落小标题很相似，需要将段落小标题单独提取出来替换掉表格标题。因此这就不单单是一个表格提取问题。
2022-07-13 00:12:56
198
原创 开始日常力扣刷题，题目4 寻找两个正序数组的中位数
给定两个大小分别为 m 和 n 的正序（从小到大）数组 nums1 和 nums2。请你找出并返回这两个正序数组的 中位数 。
2022-06-15 22:19:10
182
原创 文本生成项目（第三步短评语生成）
最后一步就是短评语句生成，短评语句生成，和标题的区别，就是长度比标题长，可能据关键词，部分内容进行总结，这里也是我学习和跑通的一下技术点，没有应用到自己的垂直领域中，因此，这里也只是记录改代码点，和数据集的整理。......
2022-06-13 16:29:40
195
原创 文本生成项目（第二步摘要生成）
当生成标题之后，就需要生成摘要，摘要生成也是通过，GTP-2生成，但师弟说有抽取法，目前还没有比较GTP-2生成法得到的摘要，但是通过人工来看的化GTP-2摘要生成效果并不是很好，目前也没有在垂直领域实验，只是跑通了大佬的模型，也还是一篇学习记录。......
2022-06-05 20:25:42
1023
原创 文本生成项目（第一步标题生成）
目前有个需求是根据一段内容生成文本简报，简报分为，简报标题，简报摘要，简报内容和生成的建议。目前我只将技术调通了，并没有用领域数据输入，所有简报的效果我也不太清楚。技术方案和技术思路已经成熟。.........
2022-06-05 16:06:39
495
3
原创 开始日常力扣刷题，题目二两数之和
给你两个 非空 的链表，表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的，并且每个节点只能存储 一位 数字。请你将两个数相加，并以相同形式返回一个表示和的链表。你可以假设除了数字 0 之外，这两个数都不会以 0 开头。
2022-05-31 14:03:57
93
原创 基于敏感数据的提取与加密（第三步，敏感数据加密）
目前，我已经做了两步就数据已经提取出来了，也做了词向量，现在我们要处理的就是，如何进行加密，我的思路是首先将词向量压缩到一维，再根据一维向量的大小进行排序。最后在根据提取出的词按照自己定义的方法进行加密，我的就比较简单往后加一步，如果这个字没有怎么办那个就统一定义一个数组，再或者用gensim,里面的wv.most_similar找最相关的字符。...
2022-05-29 22:05:28
385
原创 基于敏感数据的提取与加密（第二步，敏感数据命名体识别）
我提取敏感数据，举例常用敏感数据例如身份证号手机号，姓名和地点还有一些机构名字，因此我面向这些敏感数据，调用StanfordCoreNLP包，来解决大多数敏感数据，那会问了，为什么不自己训练模型来弄呢，对于我来说第一点太麻烦了，第二点主要也是因为没有具体标签如果只是为了做项目调用别的工具包，不寒碜。我以医院病历为例（就三条伪数据，简述一下如何做的）...
2022-05-29 21:19:45
614
原创 基于敏感数据的提取与加密（第一步，词向量的训练）
这个任务是面对与日俱增的数据，我们需要对数据中的敏感数据进行识别提取，并用一定是方式进行降噪，最终得出一份无敏感数据的文件。面对文字的情况，本项目选择了自然语言处理的方法来解决这个问题。...
2022-05-29 19:28:18
427
原创 Git上传代码保姆级教程（从SSH秘钥到上传代码）
给研一刚入坑的各位，先来一个必备技术咱不需要特别精通，只要能够连接github把代码上传到github，下载就行。
2022-05-22 23:52:31
941
原创 胡笨笨硕士期间项目心得之项目四地学中砂岩文献内三角图和知识图谱关联
项目四地学文献中三角图和知识图谱关联：春来我不先开口，哪个虫儿敢作声。这个项目目前我参加最大的项目是国家自然科学基金指南引导类0-1原创探索项目子课题，（“沉积物知识图谱及其知识演化研究”）。这个小妙点子只是这个项目其中的一部分，在前期很紧急的情况下，也是第一个将知识图谱和沉积学实实在在关联到一起的例子。...
2022-04-11 23:15:34
1151
3
原创 胡笨笨硕士期间项目心得之项目三气象知识图谱的构建及区域积水地区预测
项目三气象知识图谱的构建及问答系统构建：奈天昏地暗，斗转星移。风骤紧，缥缈风头云乱。用知识图谱构建气象语音问答系统，将技术及时的落地才是王道。需求分析例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarge
2022-04-06 18:37:37
2996
原创 胡笨笨硕士期间项目心得之项目一砂岩体系结构化推理场景
在具体学科体系结构环境下，需要做一个体系结构化反向推理，适用于一切体系结构的推理。利用python和知识图谱给大家还原本项目案例流程。
2022-04-03 16:45:48
926
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人