- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 认知事物
在手里拿着铁锤的人看来，世界就像一颗钉子。——查理•芒格▲左查理•芒格，右巴菲特花半秒钟就看透事物本质的人，和花一辈子都看不清事物本质的人，注定是两种截然不同的命运。这是我很喜欢的《教父》中的一句话。你可能会觉得这样的能力离自己很远，以自己的智商和阅历，永远也不会具备如此的洞察力。其实你错了，智力真的不能决定什么，至少我们99.9%的人都还达不到拼智力的时候。我个人就是一个极好的例子，我的智商绝对不算高，甚至有可能在中下。高中的时候，我几乎是整个年级最勤奋的人，但是同学、老师都用心疼的眼神看着我。而现在朋友
2020-07-31 11:13:38
637
1
转载 自己动手实现20G中文预训练语言模型示例
起初，我和大部分人一样，使用的是像Google这样的大公司提供的Pre-training Language Model。用起来也确实方便，随便接个下游任务，都比自己使用Embedding lookup带来的模型效果要好。但是时间用长了，就会产生依赖。依赖只是一方面，还有一个更大的问题，是我们需要思考的，他们提供的Pre-training LM确实很好吗？适合我们使用吗？一方面，它的大小适合使用吗？在BERT预训练语言模型刚出来时，最小的模型都是Base版的，它的hidden_size为768，占用内存大小为
2020-07-30 13:56:01
4822
1
转载 特殊字符编码
编码名称补充普通空格符\u0020Backspace\u0008\b水平制表符\u0009\t换行符\u000A\n垂直制表符\u000B\v换页符\u000C\f回车符\u000D\r不换行空格\u00A0相当与 看上去和空格一样，但是在HTML中不自动换行，曾在从word拷贝出来的文本中遇到行分隔符\u2028段落分隔符\u2029字节顺序标记(零宽非连接符)\uFEFF从左至右书...
2020-07-29 16:49:58
3572
转载 events.out.tfevents文件
使用命令tensorboard --logdir=event-dir(event路径)直接命令行或者在event当前路径新建.bat文件，编辑tensorboard --logdir=event-dir，保存双击运行得到网址，但有时候网址无法打开解决办法：直接输入localhost:6006,成功打开网页...
2020-07-29 09:04:50
6081
转载 GPT3应用
前不久OpenAI发布最新的NLP模型GPT-3，这两天霸榜GitHub趋势榜：这个模型的出现证明在AI领域的“大力出奇迹”，GPT3使用的数据集容量达到45TB，参数个数1750亿，一个训练好的模型就要 700G的硬盘空间来存储。近日有开发者根据GPT-3模型上线了一个能够自动生成代码的网站debuid(https://debuild.co/)。在这网站注册后，用户只要用英语描述需求，前端代码会自动生成。就连笔者这种在IT界摸爬滚打十几年的老程序员，在试用debuild网站后，吃惊得说不出话来。
2020-07-28 13:49:40
6435
2
转载 GPT3 api接口调用
原标题：OpenAI发布GPT3 api调用接口！可处理几乎所有英文问题 大数据文摘出品 作者：牛婉杨、笪洁琼 两周前，OpenAI又放了个大招：GPT3突然放出，其参数量达到1750亿，相当于1600个GPT1的大小，光把它用fp16半精度载入内存都得300GB，这还不包括实际训练中需要存储地梯度等中间变量。因此这也导致它训练起来非常昂贵，大概要花1200万美金，按现在汇率折合成人民币相当于8500多万元！！！ 今天还有博客称，GPT-3可...
2020-07-28 13:40:57
10816
转载 GPT-3 Finetune
一只小狐狸带你解锁炼丹术&NLP秘籍2018年10月推出的BERT一直有着划NLP时代的意义，然而还有一个让人不能忽略的全程陪跑模型——OpenAI GPT（Generative Pre-Training）在以它的方式坚持着，向更通用的终极目标进发。最初的GPT只是一个12层单向的Transformer，通过预训练+精调的方式进行训练，BERT一出来就被比下去了。之后2019年初的GPT-2提出了meta-learning，把所有NLP任务的输入输出进行了整合，全部用文字来表示，比如对于翻译任务
2020-07-26 14:59:48
2797
转载 torch.nn.functional.cross_entropy.ignore_index
ignore_index表示计算交叉熵时，自动忽略的标签值，example：import torchimport torch.nn.functional as Fpred = []pred.append([0.9, 0.1])pred.append([0.8, 0.2])pred = torch.Tensor(pred).view(-1, 2)label = torch.LongTensor([[1], [-1]]) # 这里输出类别为0或1，-1表示不参与计算loss。且计算平均los.
2020-07-23 18:15:19
921
转载 torch.backends.cudnn.deterministic 使用cuda保证每次结果一样
为什么使用相同的网络结构，跑出来的效果完全不同，用的学习率，迭代次数，batch size 都是一样？固定随机数种子是非常重要的。但是如果你使用的是PyTorch等框架，还要看一下框架的种子是否固定了。还有，如果你用了cuda，别忘了cuda的随机数种子。这里还需要用到torch.backends.cudnn.deterministic.torch.backends.cudnn.deterministic是啥？顾名思义，将这个 flag 置为True的话，每次返回的卷积算法将是确定的，即默认算法。如果配合
2020-07-23 09:23:07
5937
转载 数据仓库
为什么需要数据仓库？ 传统的数据库中，存放的数据都是一些定制性数据较多，表是二维的，一张表可以有很多字段，字段一字排开，对应的数据就一行一行写入表中，特点就是利用二维表表现多维关系。 &nbs...
2020-07-19 20:49:48
246
转载 对列表去重并保持原来的顺序
首先，定义一个列表，即原列表：list1 = [0, 3, 2, 3, 1, 0, 9, 8, 9, 7]；然后，使用set()对原列表去重list2 = list(set(list1))，得到[0, 1, 2, 3, 7, 8, 9]；原理：set(list1)将列表list1转换为集合，集合是一个无序的不重复元素序列，然后再list将集合转换为列表最后，将list2中的元素按照list1中元素出现的顺序排序...
2020-07-07 18:29:29
1404
转载 TensorRT简介
TensorRT 介绍 </h1> <div class="clear"></div> <div class="postBody"> 引用：https://arleyzhang.github.io/articles/7f4b25ce/1 简介TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟...
2020-07-05 15:29:03
2684
1
原创 批量doc转docx,docx表格转excel
from win32com import client as wcdef doc2docx(file_path,file_name):word = wc.Dispatch("Word.Application")doc = word.Documents.Open(file_path)doc.SaveAs(path_chen+file_name+'.docx', 12) #12为docxdoc.Close()word.Quit()all_file = os.listdir(path_
2020-07-03 14:58:24
774
转载 python读取word
在企查查查询企业信息的时候，得到了一些word文件，里面有些控股企业的数据放在表格里，需要我们将其提取出来。word文件看起来很复杂，不方便进行结构化。实际上，一个word文档中大概有这么几种类型的内容：paragraph（段落），table（表格），character（字符）。我现在要解析的wo...
2020-07-03 11:00:37
2628
转载 模型不收敛
很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法：1. 数据和标签数据分类标注是否准...
2020-07-03 10:06:15
4792
转载 多线程调试
程序员的工作内容，除了大部分时间写代码之外，因为有不少的时间是用在调试代码上。甚至说不是在调试代码，就是即将调试代码。 :)今天我们来谈谈调试代码的一些技巧，在使用IDE提供的debugger时一些快速定位问题的方式。看到这里的朋友，不要马上认为我标题党，再往下看看，如果你还有一些更好用的技巧，欢迎留言。下面进入正题。1 多线程调试开发过多线程应用的朋友应该有体会，有些时候，为了观察多个线程间变量的不同状态，以及锁的获取等，就会想到在代码里加个断点debug一下。在IDE里断点停下来的时候，可以切换到另外的
2020-07-02 18:05:56
2456
转载 Python多线程调试
有时候程序是多线程的，调试的时候可能跑到别的线程了。这个时候把thread.start变成threa.run就好了，就会执行完当前线程再执行下一个。如下代码：for thread in threads: thread.run()#原本是thread.start（） ...
2020-07-02 17:43:10
1728
原创 CUDA error: device-side assert triggered Assertion t 」= 0 && t n classes failed
报以上两个问题的原因是 加载了上一次的模型,而上一次的模型有些数据没有在现在数据中存在 所以报类别没出现的问题删除之前保存的模型即可
2020-07-02 16:47:40
387
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人