- 博客(18)
- 问答 (3)
- 收藏
- 关注
原创 keras中计算precision和recall的一点思考
需要对模型的precision和recall进行衡量,希望使用metrics在训练的时候将这两个指标体现出来。 keras2.0中已经删除了F1score、precision和recall的计算。按照[github上文章](https://github.com/keras-team/keras/issues/5400)的说法,可以自己编写batch_wise的precision和recall。自定义了如下的代码。def precision(y_true,y_pred,n=0):#精准率 t
2022-03-27 12:23:45
2381
原创 问个pandas的dataframe赋值的问题
df1.loc[:,‘data_index’] = df1.index这个指令是哪里有问题?为什么总是有warning?SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame.Try using .loc[row_indexer,col_indexer] = value insteadSee the caveats in the documentation: https://p
2021-11-24 06:43:40
1122
原创 小波变换学习笔记(一)
写在前面。小波分析绝对是工科生的噩梦。为了搞懂小波到底是什么,搬了本教材研究了几个月。学完了才发现,教材老了,人家已经是第二代小波了。好在作为工科生,只需要学会应用就行了。好了,在学习小波之前,我们先要大致了解一些东西,以确定小波的基本脉络。小波的教材基本都是坑。这里面最关键的问题是,它们基本都是数学家写的,不是为了工科生准备的。数学家的目标是证明小波理论的正确性,探索发现新的小波。工科生的目标是我只想有个分析数据的工具。这两者是完全不同的,小波理论的证明极其繁琐,需要大量的泛函知识。而小波的应用非
2021-02-15 13:23:40
1714
1
原创 dct函数详解
试图对数据进行傅里叶分析。但是对于实时序列预测,傅里叶分析的一个很严重的问题就是Gibbs现象。特别是在数据的末端,当数据被滤波重建时,由于DFT默认数据是周期性的,因此重建的数据序列第一个和最后一个趋于一致,如下图所示。蓝色的原始数据,绿色的是DFT滤波重建的结果,红色的是DCT滤波重建的结果。可以看到DFT在滤波后重建函数在两端出现了严重的失真。这对于要分析和预测下一步的数据是致命的。因此必须设法解决这个Gibbs问题。解决的方法就是延拓数据,最简单的一个方法就是把数据翻过来,加到原来...
2021-02-06 16:16:59
2795
1
原创 fft()函数详解
fft()函数简单到发指,一般使用时就两个参数fft(nparray,n),n还可以缺省。上代码:import numpy as npfrom scipy.fftpack import fft,ifftfft_y=fft(y)print(fft_y)执行结果:[180444.84 -0.j -1764.15187386-6325.24578909j 2924.15553426-4550.04232005j ... 733.09073339+342
2021-01-01 21:14:54
12911
3
原创 傅里叶变换的虚数部分
数据分析中用到傅里叶变换,只好把大学里学的云山雾绕的课本拿出来重修了一遍。傅里叶级数还好理解,傅里叶变换就有点摸不着头脑了。特别是里面的虚数部分,到底是什么意思?和傅里叶级数的sin分量是什么关系。钻进了牛角尖,不搞清这个问题吃饭都不香了。网上傅里叶级数的资料很多,又是群理论,又是希尔伯特空间的,搞得俺这个工科生更是头大。洗澡的时候忽然灵机一动,找到了原因所在(自认为),写出来与诸君共享,理解不对的地方大神指正。这是傅里叶变换的公式:f(x) = sigma(a0 +ancos(nx) +bnsin(n
2020-12-29 08:52:10
4493
1
原创 pandas.DataFrame写入hdf5时出现的错误
在将df写入hdf5的时候遇到的错误,调了很长时间。这里记录一下。如果大神们能帮忙找一下原因就更好了。问题描述:在将df写入hdf5时遇到错误。代码如下:store = pd.HDFStore(self.path+filename,mode="w")#mode缺省值为'a',table模式下不会替换没有写入的键,而w重建 for k in self.loaded_list[filename].keys(): store.put(k,self.loaded_lis
2020-11-28 17:15:21
766
原创 读写h5文件错误,进入Hdfexceptions
遇到了一个奇怪的问题。读写h5文件时出错,进入Hdfexceptions什么的,调试提示H5里打开文件错误。具体的不记录了。我的原因是:之前用HDFStore生成了一个h5文件,由于后面的错误没有调用close。把这个文件删除后,正常了。...
2020-11-12 20:16:55
406
原创 DataFrame.drop_duplicates操作中的inplace参数
Pandas操作中有个很奇怪的特性,就是操作不是对自身操作的。比如:a = pd.DataFrame({'a':[1,2,3],'b':[3,2,1],'c':[1,1,1]})b = pd.DataFrame({'a':[1,1],'b':[2,2],'c':[3,3]})c = a.append(b)print(a)print(b)print(c) a b c0 1 3 11 2 2 12 3 1 1 a b c0 1 2 31 1
2020-11-11 07:03:11
1356
原创 为什么选用hdf5
和csv做了个比较。import timeimport pandas as pdprint('测试csv和hdf5的读写速度。')print('1、测试read_csv的速度')t0 = time.time()df = pd.read_csv('~/stock-info/caibao.csv',header=None,encoding = 'gb18030')t1 =time.time()t = t1 - t0print('read_csv耗时 : ',t)print('2、测试to
2020-11-08 08:29:56
708
原创 吴恩达深度学习第五课序列中RNN和CNN的结合
对于RNN和CNN怎么结合起来很感兴趣。在吴恩达深度学习课程第五课序列第三周的编程作业TriggerWord中,给出了一个RNN和CNN结合的例子。开头很难理解,仔细分析后终于明白了是怎么回事。记录下来。下面是结构:...
2020-10-31 19:35:50
559
原创 吴恩达深度学习序列第三周编程作业的Neural Machine Translation中的Faker错误
导入后提示fake没有seed()属性。有说是faker版本问题的,改为2.0.0没有用。把nmt_utils.py中第十一行的fake.seed(12345)改为fake.random.seed(12345)即可。
2020-10-25 15:34:56
137
原创 jupyterlab运行tensorflow出现kernel restarting的问题解决
最近从jupyter notebook 转向 jupyterlab,功能多一些。可是遇到了问题:运行tensorflow时出现了kernel restarting 的问题。语句没有被执行,且kernel进入到重启后的状态。反复的检查表明,这个问题仍然是显存冲突造成的,可我在ipynb的前面已经加上了限制显存使用的代码。测试表明:**jupyterlab在退出的时候不会释放显存。**这应该是个bug。notebook是会释放的。因此执行notebook时成功,而用jupyterlab时失败。解决方案:nv
2020-10-02 23:31:34
5112
3
翻译 tensorflow的conv2d函数执行失败问题
问题描述运行tensorflow的时候执行卷积出现下面的告警信息,困扰了我很长一段时间。UnknownError: 2 root error(s) found.(0) Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.[[{{
2020-09-28 21:04:57
2205
4
原创 tensorflow-gpu中解决conv2d时出错的问题过程2020-09-20
首先需要说明的是,这个问题我并没有找出原因来。记下来的目的是把过程记录下来,让自己或他人再遇到这个问题时少走弯路。环境:ubuntu18.04 anaconda3 python3.7 cuda10.1 cudnn7.6.5 tensorflow-gpu1.15.0,显卡1050 驱动440.82过程:我是在做吴恩达的深度学习作业的时候遇到这个问题的(第四部分第一周的Convolution model-Application-v1),在计算图中定义了卷积后,执行时出了错。错误没有拷贝,大体是说卷积遇到错误
2020-09-20 16:24:28
906
原创 anaconda3 安装jupyter notebook不能使用的问题
ubuntu18.04下在anaconda中新开了个环境,在安装jupyter notbook6.1.1后无法运行。运行后提示500:server内部错误。后来按照网上所说,重新安装了nbconvert和tornado,jupyter的界面能进去了,但是服务器无法连接。反复实验后,发现了问题所在:建立环境时python选了3.6删除环境,重新建立python选3.7,问题解决。 忠实记录遇到的问题和解决途径。
2020-09-20 14:10:00
1352
原创 我的第一个python程序——mnist读取和展示
我的第一个python程序——mnist读取和展示代码第一次使用python,适应了C和C++的严谨,再用python,感觉很不适应。随着编程的继续,渐渐发现python的随意只是表象,那只是给老鸟减少麻烦用的。我的第一个python程序是mnist数据集的读取。这个没什么难度,函数是从网上抄的。对我来说难点是matplotlib。这个东西很好用,但那是在仔细阅读文档之后。写这个东西的目的,就...
2019-11-10 16:37:00
298
空空如也
dataframe.loc赋值时产生告警
2021-11-25
minst深度学习例程不收敛,成功率始终在十几
2020-01-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人