- 博客(18)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 keras中计算precision和recall的一点思考
需要对模型的precision和recall进行衡量，希望使用metrics在训练的时候将这两个指标体现出来。 keras2.0中已经删除了F1score、precision和recall的计算。按照[github上文章](https://github.com/keras-team/keras/issues/5400)的说法，可以自己编写batch_wise的precision和recall。自定义了如下的代码。def precision(y_true,y_pred,n=0):#精准率 t
2022-03-27 12:23:45
2339
原创 问个pandas的dataframe赋值的问题
df1.loc[:,‘data_index’] = df1.index这个指令是哪里有问题？为什么总是有warning?SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrame.Try using .loc[row_indexer,col_indexer] = value insteadSee the caveats in the documentation: https://p
2021-11-24 06:43:40
1104
原创 小波变换学习笔记（一）
写在前面。小波分析绝对是工科生的噩梦。为了搞懂小波到底是什么，搬了本教材研究了几个月。学完了才发现，教材老了，人家已经是第二代小波了。好在作为工科生，只需要学会应用就行了。好了，在学习小波之前，我们先要大致了解一些东西，以确定小波的基本脉络。小波的教材基本都是坑。这里面最关键的问题是，它们基本都是数学家写的，不是为了工科生准备的。数学家的目标是证明小波理论的正确性，探索发现新的小波。工科生的目标是我只想有个分析数据的工具。这两者是完全不同的，小波理论的证明极其繁琐，需要大量的泛函知识。而小波的应用非
2021-02-15 13:23:40
1528
1
原创 dct函数详解
试图对数据进行傅里叶分析。但是对于实时序列预测，傅里叶分析的一个很严重的问题就是Gibbs现象。特别是在数据的末端，当数据被滤波重建时，由于DFT默认数据是周期性的，因此重建的数据序列第一个和最后一个趋于一致，如下图所示。蓝色的原始数据，绿色的是DFT滤波重建的结果，红色的是DCT滤波重建的结果。可以看到DFT在滤波后重建函数在两端出现了严重的失真。这对于要分析和预测下一步的数据是致命的。因此必须设法解决这个Gibbs问题。解决的方法就是延拓数据，最简单的一个方法就是把数据翻过来，加到原来...
2021-02-06 16:16:59
2685
1
原创 fft()函数详解
fft()函数简单到发指，一般使用时就两个参数fft(nparray,n),n还可以缺省。上代码：import numpy as npfrom scipy.fftpack import fft,ifftfft_y=fft(y)print(fft_y)执行结果：[180444.84 -0.j -1764.15187386-6325.24578909j 2924.15553426-4550.04232005j ... 733.09073339+342
2021-01-01 21:14:54
12337
2
原创 傅里叶变换的虚数部分
数据分析中用到傅里叶变换，只好把大学里学的云山雾绕的课本拿出来重修了一遍。傅里叶级数还好理解，傅里叶变换就有点摸不着头脑了。特别是里面的虚数部分，到底是什么意思？和傅里叶级数的sin分量是什么关系。钻进了牛角尖，不搞清这个问题吃饭都不香了。网上傅里叶级数的资料很多，又是群理论，又是希尔伯特空间的，搞得俺这个工科生更是头大。洗澡的时候忽然灵机一动，找到了原因所在（自认为），写出来与诸君共享，理解不对的地方大神指正。这是傅里叶变换的公式：f(x) = sigma(a0 +ancos(nx) +bnsin(n
2020-12-29 08:52:10
4194
1
原创 pandas.DataFrame写入hdf5时出现的错误
在将df写入hdf5的时候遇到的错误，调了很长时间。这里记录一下。如果大神们能帮忙找一下原因就更好了。问题描述：在将df写入hdf5时遇到错误。代码如下：store = pd.HDFStore(self.path+filename,mode="w")#mode缺省值为'a',table模式下不会替换没有写入的键，而w重建 for k in self.loaded_list[filename].keys(): store.put(k,self.loaded_lis
2020-11-28 17:15:21
719
原创 读写h5文件错误，进入Hdfexceptions
遇到了一个奇怪的问题。读写h5文件时出错，进入Hdfexceptions什么的，调试提示H5里打开文件错误。具体的不记录了。我的原因是：之前用HDFStore生成了一个h5文件，由于后面的错误没有调用close。把这个文件删除后，正常了。...
2020-11-12 20:16:55
377
原创 DataFrame.drop_duplicates操作中的inplace参数
Pandas操作中有个很奇怪的特性，就是操作不是对自身操作的。比如：a = pd.DataFrame({'a':[1,2,3],'b':[3,2,1],'c':[1,1,1]})b = pd.DataFrame({'a':[1,1],'b':[2,2],'c':[3,3]})c = a.append(b)print(a)print(b)print(c) a b c0 1 3 11 2 2 12 3 1 1 a b c0 1 2 31 1
2020-11-11 07:03:11
1308
原创 为什么选用hdf5
和csv做了个比较。import timeimport pandas as pdprint('测试csv和hdf5的读写速度。')print('1、测试read_csv的速度')t0 = time.time()df = pd.read_csv('~/stock-info/caibao.csv',header=None,encoding = 'gb18030')t1 =time.time()t = t1 - t0print('read_csv耗时 ： ',t)print('2、测试to
2020-11-08 08:29:56
655
原创 吴恩达深度学习第五课序列中RNN和CNN的结合
对于RNN和CNN怎么结合起来很感兴趣。在吴恩达深度学习课程第五课序列第三周的编程作业TriggerWord中，给出了一个RNN和CNN结合的例子。开头很难理解，仔细分析后终于明白了是怎么回事。记录下来。下面是结构：...
2020-10-31 19:35:50
549
原创 吴恩达深度学习序列第三周编程作业的Neural Machine Translation中的Faker错误
导入后提示fake没有seed()属性。有说是faker版本问题的，改为2.0.0没有用。把nmt_utils.py中第十一行的fake.seed(12345)改为fake.random.seed(12345)即可。
2020-10-25 15:34:56
125
原创 jupyterlab运行tensorflow出现kernel restarting的问题解决
最近从jupyter notebook 转向 jupyterlab，功能多一些。可是遇到了问题：运行tensorflow时出现了kernel restarting 的问题。语句没有被执行，且kernel进入到重启后的状态。反复的检查表明，这个问题仍然是显存冲突造成的，可我在ipynb的前面已经加上了限制显存使用的代码。测试表明：**jupyterlab在退出的时候不会释放显存。**这应该是个bug。notebook是会释放的。因此执行notebook时成功，而用jupyterlab时失败。解决方案：nv
2020-10-02 23:31:34
4969
3
翻译 tensorflow的conv2d函数执行失败问题
问题描述运行tensorflow的时候执行卷积出现下面的告警信息，困扰了我很长一段时间。UnknownError: 2 root error(s) found.(0) Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.[[{{
2020-09-28 21:04:57
1945
4
原创 tensorflow-gpu中解决conv2d时出错的问题过程2020-09-20
首先需要说明的是，这个问题我并没有找出原因来。记下来的目的是把过程记录下来，让自己或他人再遇到这个问题时少走弯路。环境：ubuntu18.04 anaconda3 python3.7 cuda10.1 cudnn7.6.5 tensorflow-gpu1.15.0,显卡1050 驱动440.82过程：我是在做吴恩达的深度学习作业的时候遇到这个问题的（第四部分第一周的Convolution model-Application-v1），在计算图中定义了卷积后，执行时出了错。错误没有拷贝，大体是说卷积遇到错误
2020-09-20 16:24:28
850
原创 anaconda3 安装jupyter notebook不能使用的问题
ubuntu18.04下在anaconda中新开了个环境，在安装jupyter notbook6.1.1后无法运行。运行后提示500：server内部错误。后来按照网上所说，重新安装了nbconvert和tornado,jupyter的界面能进去了，但是服务器无法连接。反复实验后，发现了问题所在：建立环境时python选了3.6删除环境，重新建立python选3.7，问题解决。 忠实记录遇到的问题和解决途径。
2020-09-20 14:10:00
1327
原创 我的第一个python程序——mnist读取和展示
我的第一个python程序——mnist读取和展示代码第一次使用python，适应了C和C++的严谨，再用python，感觉很不适应。随着编程的继续，渐渐发现python的随意只是表象，那只是给老鸟减少麻烦用的。我的第一个python程序是mnist数据集的读取。这个没什么难度，函数是从网上抄的。对我来说难点是matplotlib。这个东西很好用，但那是在仔细阅读文档之后。写这个东西的目的，就...
2019-11-10 16:37:00
286
空空如也
dataframe.loc赋值时产生告警
2021-11-25
minst深度学习例程不收敛，成功率始终在十几
2020-01-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人