- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 热备份、温备份、冷备份
热备份、温备份、冷备份属于系统备份中的三大类，取决于备份系统的准备程度。1 冷备份 : 备份系统未安装或未配置成与当前使用的系统相同或相似的运行环境，应用系统数据没有及时装入备份系统。一旦发生灾难，需安装配置所需的运行环境，用数据备份介质(磁带或光盘) 恢复应用数据，手工逐笔或自动批量追补孤立数据，将终端用户通过通讯线路切换到备份系统，恢复业务运行优点 : 设备投资较少，节省通信费用，通信环境要求不高缺点 : 恢复时间较长，一般要数天至1周，数据完整性与一致性较差2 温备份 : 将备份系统已安装配置
2022-04-01 20:49:44
2728
原创 windows下完全离线安装Anaconda+Tensorflow
由于工作平台原因，需要在内网下安装深度学习框架，不联网的话，需要提前下载好第三方库的安装包，再离线安装。这里以Anaconda和Tensorflow为例，看过几个博客，坑不少，所以这里写点心得。这里以python3.8，conda4.10，tensorflow-2.6为例，先下载好Anaconda3-2021.05-Windows-x86_64与tensorflow-2.6.0-cp38-cp38-win_amd64。一、下载情况1.Anaconda的下载：https://www.anaconda.co
2022-02-24 20:13:29
2450
原创 tensorflow2 has no attribute ‘get_default_graph‘/‘Session‘问题
原因：tensorflow2删除了相关功能解决办法：1 降为tensorflow2 修改指令先加 tf.compat.v1.disable_eager_execution()再进行tf运算g = tf.compat.v1.get_default_graph()with tf.compat.v1.Session() as sess:
2021-09-15 16:02:35
281
原创 激活函数及其各自的优缺点（转帖）
发现一个关于深度学习最基本常识的解读，关于激活函数的1.什么是激活函数？所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。2.为什么要用激活函数？如果不用激活函数，每一层输出都是上层输入的线性函数，无
2021-03-19 18:57:55
318
原创 经验模态分解（EMD）及希尔伯特-黄变换（HHT）
网上代码很多，可以自行搜索。这里写点关于它的认识，有问题可以互相讨论。EMD目的：将任意信号（尤其是非平稳非线性时间序列信号）分解为线性稳态信号（IMF）核心：把任一个自由的信号分解成为若干个固有模态函数(IntrinsicModeFunction， IMF)和一个残余分量，每一个 IMF 代表了原信号不同频率段的振荡变化，反映信号的局部特征，而最后的残余分量则反映信号中的缓慢变化量判断h(t)是否为IMF的条件主要有两个：在信号序列中，它的极值点与过零点的数目需要是一致的，或者相差 必须少于一个
2021-03-12 16:01:45
3233
原创 matlab编辑器里面中文乱码问题
之前因为自己改过字体啥的，现在发现调用以前程序只显示方框，其实就是字体问题，在matlab预设->字体选择中文字体，而不是新罗马即可。
2020-11-30 14:24:30
1205
原创 马尔可夫链 （Markov Chain）
公式看起来会比较复杂，但是说白了就是 马尔可夫链就是这样一个过程，它将来的状态分布只取决于现在，跟过去无关。通俗解释可以看这个博客，博主写的很好。https://blog.csdn.net/carmencsdsndsiw9e3f/article/details/70236685?locationNum=10&fps=1...
2020-10-16 22:35:19
168
原创 数据shuffle问题
在训练时，数据会被随机打乱吗？如果model.fit中的参数shuffle=True时，会随机打算每一次epoch的数据。（默认打乱）但是验证数据默认不会打乱。result = model.fit(data, label, batch_size=50,nb_epoch=35,shuffle=True,verbose=1,show_accuracy=True,validation_split=0.2)shuffle和validation_split的顺序模型的fit函数有两个参数，shuffle用于
2020-07-15 22:25:15
2626
原创 来自keras.datasets的替代方法导入mnist
keras.datasets下载数据集时，由于文件是存储在亚马逊的服务器上，运行代码时一般会报如下错误：由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。已手动下载的mnist数据集，再放到文件中去从https://s3.amazonaws.com/img-datasets/mnist.pkl.gz下载数据集...
2020-07-14 15:52:46
482
原创 tensorflow-gpu2.2 报错 Could not load dynamic library ‘cudart64_101.dll‘
如果安装的是 cuda 10.1，在 pycharm 里面使用的时候会这样报错，明明安装的是 10.1 的 CUDA 但是他就说没有。那么安装后 ，我们是可以看到这个文件的，只是他自己找不到。解决方法运行 CMD， 在里面切到 python 命令行里，然后import tensorflow as tftf.test.is_gpu_available(“GPU”)他就能创建一个 tensorflow 的 gpu 环境，再到 pycharm 里面就能用了。如果安装的是 cuda 10.2，那么也需要下
2020-07-14 00:47:35
405
原创 分享一个大佬教学-----30天吃掉 TensorFlow2
https://www.bookstack.cn/read/eat_tensorflow2_in_30_days-zh/README.md仅仅转载
2020-07-12 19:08:35
143
原创 随时更新些python的小指令
ist1=[2,3,1,9,112,23,23,6,6,1,3,0,11,2,1,1]L1=len(list1) #列表list1的长度list2=list(set(list1)) #可以用set，直接去掉重复的元素list2.sort(reverse=False) #将列表由小到大排序
2020-07-12 17:00:29
126
原创 xgboost当中的XGBClassifier参数分析
和sklearn库相似以下是默认参数。打*参数为重要XGBClassifier(1.silent=0#设置成1则没有运行信息输出，默认为0.是否在运行时打印消息2.*learning_rate=0.1#学习率，过大收敛不了，小了收敛慢3.*min_child_weight=1#叶子里面h的和，h就是二阶导不清楚的看看xgboost原理，该参数越小越容易过拟合4.*max_depth=6, # 构建树的深度，越大越容易过拟合，可以用CV函数来进行调优5.gamma=0, # 树的叶子节点上作进一
2020-07-10 17:00:32
685
原创 RF(随机森林)，GBDT，XGBoost之间的区别与联系
从 https://blog.csdn.net/kaxiaokui/article/details/106474603 摘抄RF(随机森林)，GBDT相同点：1.都是由多棵树组成，最终的结果都是由多棵树一起决定。2.RF和GBDT在使用CART树时，可以是分类树或者回归树。不同点：1.组成随机森林的树可以并行生成，而GBDT是串行生成2.随机森林的结果是多数表决表决的，而GBDT则是多棵树累加之和3.随机森林对异常值不敏感，而GBDT对异常值比较敏感4.随机森林是减少模型的方差，而GBDT
2020-07-08 17:14:29
1282
1
原创 分类任务中‘binary_crossentropy‘与categorical_crossentropy
binary_crossentropy搭配sigmoid分类函数，categorical_crossentropy搭配softmax分类函数'binary_crossentropy’不能用于多分类任务，如果使用了所得到的Accuary是不对的没有意义，如果多分类任务应该使用categorical_crossentropy。Softmax + categorical_crossentropy可以用于二分类等价于Sigmoid + binary_crossentropy二分类...
2020-07-07 10:25:51
1004
原创 savgol_filter函数
最近做平滑预处理工作发现一个函数很好、savgol_filter，采用Savitzky-Golay卷积平滑算法from scipy.signal import savgol_filter具体用法参照一个大佬博客，非常不错。https://www.sogou.com/link?url=hedJjaC291OB0PrGj_c3jLEFOfDkmI-hmQWsvEMHLJjk4wN8fpheN7U6DtrNzhozfGXKGKys96yJaXrLD2lU_g…...
2020-07-05 18:01:02
2331
1
原创 深度学习history KeyError: ‘accuracy‘、KeyError: ‘val_acc‘、KeyError: ‘acc‘报错
之所以会出现KeyError: ‘accuracy’、KeyError: ‘acc’、KeyError: 'val_acc’等报错信息，是由于keras库（一个开源人工神经网络库，用于构建和训练深度学习模型的高级 API）版本不同所造成的；train_loss = history.history[‘accuracy’]valid_loss = history.history[‘val_accuracy’]为keras库老版本中的参数不是accuracy，而是acc，将参数accuracy替换为acc，
2020-07-03 16:10:13
7472
原创 SMOTE方法，解决样本不平衡
数据不平衡的处理方法有三种：一是欠采样，二是过采样，三是调整权重。SMOTE是过采样的一种方法，可以稍微防止过采样导致的过拟合。原理：采用KNN算法，计算出每个少数类样本的K个邻近；从K个邻近中随机挑选N个样本进行随机线性插值；构造新的少数类样本；将新样本放入原数据，产生新的训练集；代码实现：import pandas as pdfrom sklearn.datasets import make_classificationfrom collections import Counterf
2020-06-28 22:33:57
1676
原创 python中时间指令查看
from time import timet0 = time() 计算此刻时间，但是不是真实的时分秒t1 = time()print(t1-t0) 程序耗时，单位为秒------真实的时间差值import datetime 导入时间转换模块print(datetime.datetime.fromtimestamp(t0).strftime(’%Y-%m-%d %H:%M:%S’)) ...
2020-04-03 18:28:38
235
原创 解决AttributeError: module 'scipy' has no attribute 'stats'问题
直接import scipy，然后调用pv = scipy.stats.chi2_contingency([x1,x2])[1]时报错。改成 import scipy.stats 就可以了。
2020-04-01 00:27:15
18522
4
原创 如何将MathType嵌入Word PowerPoint 2016
亲测的一个非常实用的方法，非常赞！转自下面的博客：https://blog.csdn.net/weixin_34014277/article/details/86029947从MathType安装路径中找到MathType\Office Support\64中的MathType Commands 6 For Word 2013和WordCmds两个文件。此步骤要注意自己安装的Office201...
2020-03-15 19:02:52
4454
原创 查看程序运行时间
%%timeit来计算cell所用的时间，但是这个函数只能在ipython环境中用，jupyter，notebook，对于pycharm只能是加载时间模块，进行差值import timestart=time.clock()end=time.clock()print(end-start)...
2020-03-07 23:41:27
564
原创 打卡致歉
前一阵子，由于身体原因，做了个肛瘘手术，导致长时间没有更新学习。接下来趁着肺炎疫情，努力在家学习下。想从最简单的sklearn好好学学。
2020-02-06 11:22:55
125
原创 菜菜的机器学习sklearn课堂
最近在B站发现一个讲解很细的视频，非常好。https://space.bilibili.com/2932207/channel/detail?cid=62341免费的课程+收费的。。可惜我这学生狗只看免费的。。
2019-12-12 16:23:27
4795
6
原创 pip xgboost后，xgboost报错
安装xgboost遇错xgboost.libpath.XGBoostLibraryNotFound: Cannot find XGBoost Library in the candidate path你已经pip install xgboost了，但是依然提示找不到。其实是缺少个动态文件。在http://ssl.picnet.com.au/xgboost/中下载对应版本的动态链接库xgboos...
2019-12-05 14:20:56
335
原创 基于Keras的LSTM多变量时间序列预测，包括单步和多步（北京PM2.5数据集pollution.csv）
直接简单点转自其他博客大神 Jason Brownlee的杰作：https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras/中文翻译版本可以参考这个博主：https://blog.csdn.net/Together_CZ/article/details/84892130其实国内CSDN...
2019-11-25 14:51:33
3719
1
原创 谈谈对LSTM时序预测的理解
简单模型在“小样本 + 简单模式”的数据集上更容易获得稳健的结果；与常见的回归预测模型不同，输入变量之间的“序列依赖性”为时间序列问题增加了复杂度；所以把它等价于线性非线性回归还是不行，主要是他需要从时间序列找到关系。。。...
2019-11-25 12:35:45
1018
原创 数据分析中相关性分析
python里面可以通过第三方库实现，也可以自己写。法1import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata = pd.read_csv(“pollution2.csv”)cov = np.corrcoef(data.T)img = plt.matshow(cov,cmap=plt.cm.wi...
2019-11-24 17:34:53
429
原创 利用python把excel文件转成csv文件
引入第三方库import pandas as pddata = pd.read_excel(‘0412.xls’,index_col=0)data.to_csv(‘0412.csv’,encoding=‘utf-8’)如果出现下面这个错误ImportError: Install xlrd >= 1.0.0 for Excel support是你没装全库pip install p...
2019-11-21 16:30:00
1581
2
原创 SCI投稿论文中字母正斜体问题
摘自博客：https://blog.csdn.net/weibo1230123/article/details/79443359不过稍微删减改了些一、外文正体1.1 所有计量单位和词头符号计量单位如：m(米)，s(秒)，V(伏)，Ω(欧)，℃(摄氏度)，eV(电子伏)，mol(摩)等;词头如：k(千)，G(吉)，M(兆)等。1.2 数学式中的运算符号、缩写号、特殊函数符号等（1）运算符...
2019-11-20 22:39:43
9377
原创 此博客说明
此博客纯属学习过程中的个人心得理解，博主非计算机专业，作为计算机小白，还在学习过程，只求毕业而已。如果此博客能帮到你我，那就再好不过了，如果有问题，也欢迎指出。目前在进行故障诊断、寿命评估等问题。欢迎互相学习交流，本人QQ825337241，请多指教。...
2019-11-14 14:14:45
98
原创 数据集shuffle的重要性
给我的感觉就是在训练之前，一般会对数据集进行shuffle，打乱数据之间的顺序，让数据随机化，这样可以避免过拟合。对于分类问题，shuffle会很好，但是对于回归预测问题，train——loss不下降。...
2019-11-14 14:09:52
885
原创 Keras中的TimeDistributed层
Keras中的TimeDistributed层具体内容可以参考其他博客我个人的感觉就是TimeDistributed就相当与时间序列共享一个卷积层参数信息，使不同层的特征图共享权重，减小参数...
2019-11-14 11:20:08
299
原创 一维卷积网络重点图
keras使用1D卷积的例子apply a convolution 1d of length 3 to a sequence with 10 timestepswith 64 output filtersmodel = Sequential()model.add(Convolution1D(64, 3, border_mode=‘same’, input_shape=(10, 32)))...
2019-11-13 13:38:37
695
原创 安装pydot 和 graphviz
坑很多，需要自己一点点排。。。pip install graphviz下载graphviz软件安装包 graphviz-2.38. msi安装graphviz软件，选择“for everyone”添加C:\Program Files (x86)\Graphviz2.38\bin（默认安装路径，你要自定义了就用你定义的）到系统环境pathpip install pydot之后发现还...
2019-11-04 23:53:53
292
原创 深度学习回归评价指标：MSE、RMSE、MAE、R2、Adjusted R2
写文章时候可以选用一下几个1、均方误差：MSE（Mean Squared Error）2、均方根误差：RMSE（Root Mean Squard Error）RMSE=sqrt（MSE）。3、平均绝对误差：MAE（Mean Absolute Error）4、决定系数：R2（R-Square）一般来说，R-Squared 越大，表示模型拟合效果越好。R-Squared 反映的是大概有多准，...
2019-11-04 19:19:52
10302
原创 LSTM汇总
https://www.evolutionarylearn.com/paper/lstm-review-ts/一、LSTM基础理论资料汇总/综述 Understanding LSTM Networks Christopher Olah大神的博客文章，用专业而易懂的方式介绍了LSTM的架构。目前，很大部分的中文LSTM介绍与分享均参考该篇博文，影响巨大。另外,Olah的博客中还包括神经网络的其他结...
2019-10-22 22:29:39
503
原创 谈一谈关于max-pooling和average-pooling选取上的问题
个人感觉max-pooling的效果更好，虽然max-pooling和average-pooling都对数据做了下采样，但是max-pooling感觉更像是做了特征选择，选出了分类辨识度更好的特征。对于图像的理解，average-pooling会保留图像的背景信息，max-pooling更多的保留纹理信息。average-pooling更强调对整体特征信息进行一层下采样，在减少参数维度的贡献上...
2019-10-21 22:52:48
514
原创 大神系列学习
Jason大神的 https://machinelearningmastery.com/crash-course-convolutional-neural-networks/刘建平大神的https://www.cnblogs.com/pinard/p/6483207.html张雨石大神的https://blog.csdn.net/stdcoutzyx/article/details/41596...
2019-08-28 13:01:53
82
NSGA-II.zip
2019-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人