- 博客(25)
- 收藏
- 关注
RSS订阅原创 BERT 总结
BERT总结一、 rnn和cnn的局限性RNN的输入是一串vector sequence ，输出是另外一串vector sequence。如果是单向RNN,输出b4时候，会把a1到a4都看过，输出b3时候，会把a1到a3都看过。所以RNN存在的问题是不容易被平行化，即要算出b4，那么需要从a1依次看到a4才能算出。CNN的好处是可以平行化，缺点是每一个CNN只能考虑非常有限的内容，要叠加很多层才能看到长期资讯。CNN的特点是局部连接和权值共享。由输入层，卷积层，激活函数，池化层，全连接层组成。
2021-02-23 16:32:13
541
原创 python is 和==区别
1.== 是比较两个对象的内容是否相等，即两个对象的“值“”是否相等，不管两者在内存中的引用地址是否一样。2.is 比较的是两个实例对象是不是完全相同，它们是不是同一个对象，占用的内存地址是否相同。即is比较两个条件：1.内容相同。2.内存中地址相同...
2020-11-19 09:44:22
108
原创 bert模型加载失效问题
应用框架及资源版本:bert4keras; tensorflow-gpu==1.14问题描述:训练模型时每个epoch后的测试准确度都正常.但是加载模型单独跑测试集的时候发现准确率极低,像是模型并没有加载成功查看加载路径发现没有问题,模型也没有问题,github上也没什么解决方法,后来发现模型的最后两层name没有指定,训练和预测时候网络层name不一样,导致加载失败 def get_model(): model = build_transformer_mod
2020-11-16 16:36:44
795
原创 tensorflow2.0版本学习总结
此系列为初学tensorflow2.0版本的某些技术总结强化，不包含tensorflow2.0的全部内容tensorflow2.0一 基础在 TensorFlow 2.0 版本中，Eager Execution 模式为默认模式，无需额外调用tf.enable_eager_execution()函数（不过若要关闭 Eager Execution，则需调tf.compat.v1.disable_eager_execution()函数）tf普通迭代步骤1.从 DataLoader 中随机取一批训练数据
2020-09-23 13:57:46
235
原创 BERT分类提升准确率
在bert最后一层添加一层rnn会使分类效果更好下面代码基于bert4keras:例：model = build_transformer_model( self.config_path, None if is_predict else self.checkpoint_path, with_mlm=False, keep_tokens=self.data_deal.keep_tokens )
2020-09-17 18:11:32
2387
原创 使用line_profiler模块检查文件内某部分的耗时，占用内存等
line_profiler模块可以给出执行每行代码所需占用的CPU时间。该模块不是python模块，所以执行方式有所不同。安装pip install line_profiler使用直接在要检查的函数前面加@profile@profiledef random(n): l = [random.random() for i in range(n)] return l if __name__ == "__main__": random(100000)执行执行方法不是直接pyt
2020-09-03 10:02:19
167
原创 数据平移滑动组合成新数据
本方法为了训练数据平移滑动组合成新数据.解决数据过长,训练不充分问题def test(): """ :input: data :return: [12,123,1234,12345,123456,23,234,2345,23456,34,345,3456,45,456,56] """ for i in range(len(data)): for j in range(i+2, len(data) + 1): pr
2020-07-17 16:24:22
173
1
原创 Flask里调用keras后报错The Session graph is empty.
问题说明:在外部直接调用keras程序不报错,会正常加载模型和权重.但是部署到flask里后就会报错,The Session graph is empty. Add operations to the graph before calling run().原因分析:我的开发环境为tensorflow-gpu-1.14由于直接运行模型不会报错,所以不应该是keras的配置问题.查了多方资料后看到多个解决办法,底层原因应为flask里的多线程调用会影响session里的图加载导致冲突:1,有人出
2020-07-17 09:58:45
337
原创 git rebase 提交次数合并的几种情况
1 git push 多次，没有merge情况下的rebasegit rebase -i HEAD~5 #然后将多余的pick改成s，# 然后wq保存，或者 ctrl+x Ygit push --forcegit rebase --abort是退回此次rebase操作的意思2 merge 过几次后上述方法不能把分支去掉思路：如果想合并成一个应该要reset到某次提交，然后再统一...
2020-04-16 17:58:48
341
原创 pip 临时更新下载源
比如原地址下载源一直超时，可以使用临时下载源，如下pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
2020-04-09 15:06:35
208
原创 dokcer里开启mongo服务
if [ ! "$(docker ps -a | grep mongo)" ] then echo "start mongo db docker"; mkdir ~/data; docker pull mongo; docker run --name mongo -p 27017:27017 -v ~/data:/data/db -itd mongo;fiif...
2019-12-24 15:59:49
159
原创 git 删除分支的两种方式（本地，远程）
git删除本地分支git branch -d <BranchName>git删除远程分支git push origin --delete <BranchName>
2019-12-04 09:47:23
557
3
原创 python中汉字日期转换为标准格式
汉字日期转换为标准格式本文应用python，处理格式有以下几种形式：周一，周二；今天昨天明天；十一月十八日；8月20号。把上述几种格式同意转换为 2019-11-19 这种格式。import datetimeimport calendardef normalize_datetime(time): """ 处理日期 :param time: :...
2019-11-19 10:45:16
3182
原创 python 里判断某几个元素都不在字符串里
python 判断n个元素都不在字符串里错误案例 a='abcdefghijlmn' if 'a' or 'b' or 'c' not in a: print(1)错误原因，or的优先级问题使逻辑出错，需要加括号提高优先级正确写法 a='abcdefghijlmn' if ('a' or 'b' or 'c') not in a: print(1)...
2019-11-05 14:22:56
3601
原创 git的创建与删除
git创建(1).设置下git的用户名和邮箱在提交代码前，还需要设置下git的用户名和邮箱（最好用英文），这样提交记录才会在gitlab上 显示带有你名字的记录。在命令行窗口输入（windows需要安装打开Git Bash工具才行）：git config --global user.name"your_name"git config --global user.email "y...
2019-11-05 09:36:08
145
原创 docker新手操作
启动docker服务service docker start关闭docker服务service docker stop查看都有什么镜像docker ps -a启动某个镜像docker run --name test_dev -p 8005:8005 -p 8002:8002 --link mongo -v "$PWD":/app -itd talk1_dev:0.0.1a1...
2019-10-25 09:04:49
83
原创 linux中mp3转wav格式
ubuntu中mp3转wav脚本#!/bin/bashfor file in *.mp3; do ffmpeg -i "$file" -acodec pcm_s16le -ac 1 -ar 22050 "${file%.mp3}".wavdone启动：bash ./test1.shwav音频转16进制格式#!/bin/bash#folder=$1for file in...
2019-10-24 09:14:13
858
原创 线性转换非线性sigmoid
根据特定需求应用sigmoid函数之前有查到sigmoid的公式，但是需要传递参数来根据需求跳参得出结果：def sigmoid(x): delta = 45 return 1 / (1+math.exp(-(x-delta)))其中delta是个基准点，需要自己按需求调试...
2019-10-21 17:59:08
985
原创 线性方程改成非线性
本组方程式有一定局限性和特殊性:在0-1范围内，按照某一点a定为区分点，a属于（0-1）。小于a的数要比本身靠近0，大于a的数要比a本身更靠近1。本文应用原理为平方和开方，小于1的数平方后更小，开平方后比本身更大。代码实现：设中间值为0.6a = lambda x: 0.6 if x == 0.6 else x ** 2 if x < 0.6 else sqrt(x)...
2019-10-18 09:17:57
860
原创 dataframe指定某列数据归一化
函数版本def df_norm(df, *cols): df_n = df.copy() for col in cols: ma = df_n[col].max() mi = df_n[col].min() df_n[col + '_n'] = (df_n[col] - mi) / (ma - mi) return (df_...
2019-10-17 14:08:29
9947
原创 dataframe，按照指定列顺序输出
cols = ['a','b','c','d','e','f'] result = df.ix[:, cols]
2019-10-17 13:29:48
450
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人