2020年02月_炼丹师666

原创循环神经网络的高级用法_温度预测时间序列问题

循环神经网络的高级用法_温度预测时间序列问题参考：https://www.jianshu.com/p/426a7aed953c

2020-02-28 15:48:34 3044 3

假设特征有效，正负样本在特征空间里的分布是有差别的，比如有的空间区域正负样本比例是1:10，而有的区域正负样本比例是1:1000000，即特征对于样本预测仍然有效，而模型尝试学习的就是这个映射关系。但由于样本不均衡，在大部分特征空间区域，仍然是预测为负样本会带来更小的损失，从而导致模型失效，或者预测值总是集中的0附近。也就是说预测偏向样本数较多的分类。这样就会大大降低模型的范化能力。往往acc...

2020-02-27 17:28:14 3259

原创 pyrhon_生成所有生日日期

参考：https://blog.csdn.net/zhuxiao5/article/details/104469652?depth_1-utm_source=distribute.pc_feed.50579&utm_source=distribute.pc_feed.50579import time #生成出生当年所有日期def dateRange(year):# 时间...

2020-02-24 21:07:57 1159

原创 python_生成随机数_循环

python_生成随机数随机数大全：https://www.cnblogs.com/fpzs/p/10196950.htmlrandom.randint()与np.random.randint()的区别：https://www.jianshu.com/p/f51900e3bac7

2020-02-23 17:44:02 800

原创加载csv文件绘制折线图_enumerate&列表转化为数组&序列

加载csv文件绘制折线图_enumerate&列表转化为数组将 420 551 行数据转换成一个 Numpy 数组。# 在这个数据集中，每 10 分钟记录 14 个不同的量（比如气温、气压、湿度、风向等），其中# 包含多年的记录。原始数据可追溯到 2003 年，但本例仅使用 2009—2016 年的数据。这个数据# 集非常适合用来学习处理数值型时间序列。我们将会用这个数据集来构建模...

2020-02-23 16:40:14 482

原创 TensorFlow深度学习并发加速训练

TensorFlow深度学习并发训练TensorFlow 2.0 分布式训练单机多卡训练: MirroredStrategytf.distribute.MirroredStrategy 是一种简洁且高性能的，数据并行的同步式分布式策略，主要支持多个 GPU 在同一台主机上训练。使用这种策略时，我们只需实例化一个 MirroredStrategy 策略:strategy = tf.distr...

2020-02-20 19:29:17 985 1

原创 sql_每组占比问题

一张表有 group ,tablename,staragesize(存储大小)几个字段，求出每组存储大小占当比前80%的表，返回group,tablenameselect a.group, a.tablename from table as ajoin ( select group, sum(staragesize)*0.2 ...

2020-02-18 22:22:24 1277

原创 keras_ LSTM 层和 GRU 层

6.2.2 理解 LSTM 层和 GRU 层https://blog.csdn.net/qq_30614345/article/details/98714874

2020-02-17 16:02:51 2189

原创如何解决正负样本不均衡

参考：如何解决样本不均衡的问题https://www.jianshu.com/p/76dce1fca85b过采样小样本(SMOTE)，欠采样大样本为少数类样本赋予更大的权值，为多数类样本赋予较小的权值通过组合集成方法解决...

2020-02-16 22:37:51 341

原创 keras_循环神经网络

keras_循环神经网络6.2.1 Keras 中的循环层https://blog.csdn.net/qq_30614345/article/details/98714874代码清单 6-22　准备 IMDB 数据代码清单 6-23　用 Embedding 层和 SimpleRNN 层来训练模型代码清单 6-24　绘制结果# 与 Keras 中的所有循环层一样， SimpleRNN ...

2020-02-15 21:31:57 523 1

原创 TDH建表语句汇总

TDH建表语句汇总TEXT表TEXT表是文本格式的表，是Inceptor默认的表格式。在数据量大的情况下，TEXT表的统计和查询性能都比较低；TEXT表也不支持事务处理，所以通常用于将文本文件中的原始数据导入Inceptor中；不建议在任何计算场景中使用TEXT表；CREATE EXTERNAL TABLE test.t1_ext( id string ,legal...

2020-02-15 17:12:06 1972

原创 HDFS 中向 DataNode 写入数据失败了怎么办

如果向DataNode写入数据失败了怎么办？如果这种情况发生，那么就会执行一些操作：① Pipeline数据流管道会被关闭，ACK queue中的packets会被添加到data queue的前面以确保不会发生packets数据包的丢失② 在正常的DataNode节点上的以保存好的block的ID版本会升级——这样发生故障的DataNode节点上的block数据会在节点恢复正常后被删除，失效...

2020-02-13 19:47:09 2414

原创使用shell脚本统计文件中ip出现的次数

https://blog.csdn.net/xiamoyanyulrq/article/details/81570652首先准备文件demo.txt，内容如下：1 192.168.41.20 2 192.168.41.21 3 192.168.41.22 4 192.168.41.23 5 192.168.41.24 6 192.168.41.25统计出现次数最多的ip次数：...

2020-02-11 20:44:04 1440

原创 python_写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。

写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。参考：https://www.jianshu.com/p/a300f0f33e33'''写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。'''# 利用异或以及与进位求解# 不能一个正数一个负数# 可能是python的的整型可以无限大的原因, 导致正数和负数的异或操作不断变成更...

2020-02-09 21:09:01 1659

原创 TDH sql及plsql的调优

3 PLSQL调优3.1 表的优化3.1.1 表类型的优化文本表主要在数据的导入导出中作为过度表使用，支持insert和load操作，支持分区分桶，一般对于跑批，我们选择ORC格式的表，ORC为列式存储，通常压缩比为3~8，同时具有轻量级的索引，包括minmaxFilter和BloomFilter,只支持insert，不支持load，如果该表需要进行事务操作，则需使用ORC事务表，3....

2020-02-08 17:53:25 908

原创 PL/SQL语句块组成部分

PL/SQL块由四个基本部分组成：声明、执行体开始、异常处理、执行体结束。DECLARE —— 可选部分变量、常量、函数游标、用户定义异常的声明。BEGIN —— 必要部分SQL语句和PL/SQL语句构成的执行程序。EXCEPTION —— 可选部分程序出现异常时，捕捉异常并处理异常。END —— 必须部分PLSQL基本命令PL/SQL使用的数据库操作语言还是基于SQL的，所以熟...

2020-02-08 17:33:11 4145

原创 keras-文本序列_文本向量化_分词（二）(使用预训练的词嵌入)

Keras-文本序列_文本向量化（二）(使用预训练的词嵌入)参考：https://blog.csdn.net/qq_30614345/article/details/98714874在这里插入代码片

2020-02-05 16:37:09 1020

原创 python_处理文本标签_遍历目录

python_处理文本标签_遍历目录我们将训练评论转换成字符串列表，每个字符串对应一条评论。你也可以将评论标签（正面 / 负面）转换成 labels 列表遍历目录import osimdb_dir = '/home/ubuntu/data/aclImdb'train_dir = os.path.join(imdb_dir, 'train')labels = []texts =...

2020-02-05 16:09:50 196

原创 keras-文本序列_文本向量化（二）(利用 Embedding 层学习词嵌入)

Keras-文本序列_文本向量化（二）(使用词嵌入&词向量)参考：https://blog.csdn.net/qq_30614345/article/details/98714874

2020-02-05 12:29:34 734

原创 Keras-文本序列_文本向量化（一）(标记做 one-hot 编码)

Keras-文本序列_文本向量化(标记做 one-hot 编码)参考：https://blog.csdn.net/qq_30614345/article/details/987148746.1.1　单词和字符的 one-hot 编码代码清单 6-1 单词级的 one-hot 编码（简单示例）代码清单 6-2 字符级的 one-hot 编码（简单示例）代码清单 6-3 用 Keras 实...

2020-02-04 18:51:33 953 1

原创 python_文件操作_复制图片

import os, shutil# 我们将重点讨论猫狗图像分类，数据集中包含 4000 张猫和狗的图像# （2000 张猫的图像， 2000 张狗的图像）。我们将 2000 张图像用于训练， 1000 张用于验证， 1000# 张用于测试。# The path to the directory where the original# dataset was uncompress...

2020-02-04 17:23:56 1358

原创 keras_猫狗分类案例(三)_卷机神经网络的可视化（可视化类激活的热力图）

卷机神经网络的可视化（可视化类激活的热力图）参考：https://www.cnblogs.com/zhhfan/p/9978099.html可视化类激活的热力图我还要介绍另一种可视化方法，它有助于了解一张图像的哪一部分让卷积神经网络做出了最终的分类决策。这有助于对卷积神经网络的决策过程进行调试，特别是出现分类错误的情况下。这种方法还可以定位图像中的特定目标。这种通用的技术叫作类激活图（C...

2020-02-04 17:15:08 1376

原创 keras_猫狗分类案例(三)_卷机神经网络的可视化（可视化卷积神经网络的过滤器）

可视化卷积神经网络的过滤器参考：https://cloud.tencent.com/developer/article/1502652 想要观察卷积神经网络学到的过滤器，另一种简单的方法是显示每个过滤器所响应的视觉模式。这可以通过在**输入空间中进行梯度上升**来实现：从空白输入图像开始，将梯度下降应用于卷积神经网络输入图像的值，其目的是让某个过滤器的**响应最大化**。得到的输入图像是选定...

2020-02-03 21:14:43 581

原创 keras_猫狗分类案例(三)_卷机神经网络的可视化（可视化卷积神经网络的中间输出）

keras_猫狗分类案例(三)_卷积神经网络的可视化参考：https://blog.csdn.net/Einstellung/article/details/82832872卷积神经网络的可视化参考：1、可视化卷积神经网络的中间输出（中间激活）：有助于理解卷积神经网络连续的层如何对输入进行变换，也有助于初步了解卷积神经网络每个过滤器的含义。代码清单 5-25　预处理单张图像代码清单...

2020-02-03 16:42:25 1522

原创神经网络激活函数和损失函数的选择

神经网络激活函数和损失函数的选择python深度学习.pdf参考：https://blog.csdn.net/lxiao428/article/details/88651767

2020-02-02 22:06:00 669

原创 keras_卷积神经网络_猫狗分类案例(二)

keras_卷积神经网络_猫狗分类案例(二)参考：https://blog.csdn.net/xiewenrui1996/article/details/104032476/**5.3　使用预训练的卷积神经网络5.3.1　特征提取代码清单 5-16　将 VGG16 卷积基实例化不使用数据增强的快速特征提取代码清单 5-17　使用预训练的卷积基提取特征代码清单 5-18　定义并训练密...

2020-02-02 22:01:42 789

原创 keras_卷积神经网络_猫狗分类案例(一)

参考：https://blog.csdn.net/fioletfly/article/details/101345549代码清单 5-2 在卷积神经网络上添加分类器代码清单 5-3 在 MNIST 图像上训练卷积神经网络代码清单 5-4 将图像复制到训练、验证和测试的目录代码清单 5-5 将猫狗分类的小型卷积神经网络实例化代码清单 5-6 配置模型用于训练5.2.4　数据预处理代码...

2020-02-02 17:47:39 1708

原创 keras_实例化一个小型的卷积神经网络

keras_深度学习用于计算机视觉参考：https://blog.csdn.net/xiewenrui1996/article/details/104009618本章将介绍卷积神经网络，也叫 convnet，它是计算机视觉应用几乎都在使用的一种深度学习模型。你将学到将卷积神经网络应用于图像分类问题，特别是那些训练数据集较小的问题。如果你工作的地方并非大型科技公司，这也将是你最常见的使用场景...

2020-02-02 16:02:53 676

原创神经网络机器学习_通用工作流程

神经网络机器学习_通用工作流程参考：https://blog.csdn.net/dili8870/article/details/101506568【1】定义问题、收集数据集处理多分类问题的标签有两种方法通过分类编码对标签进行编码，然后使用categorical_crossentropy损失函数将标签编码为整数，然后使用sparse_categorical_crossentropy损失...

2020-02-01 16:55:21 447

原创防止神经网络过拟合

参考：https://blog.csdn.net/xiewenrui1996/article/details/103940060总结一下，防止神经网络过拟合的常用方法包括：‰ 获取更多的训练数据‰ 减小网络容量防止过拟合的最简单的方法就是减小模型大小，即减少模型中可学习参数的个数（这由层数和每层的单元个数决定）。在深度学习中，模型中可学习参数的个数通常被称为模型的容量（capacity...

2020-02-01 16:39:41 369

wj1298250240的博客