- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop-HDFS的Secondary NameNode作用详解
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以久而久之日志文件可能会变得非常庞大，特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。Seco
2020-07-14 10:48:33
2254
原创 进程、线程、信号量与死锁
进程定义：一个具有一定独立功能的程序在一个数据集合上的一次动态执行过程。特征：动态性、独立性、并发性、异步性组成：代码段 + 数据段 + PCB进程控制块-PCBPCB是进程的控制结构，包含了进程的描述信息、控制信息和资源信息以及现场保护区，是进程的唯一标识。描述信息：进程标识符-ID、进程名、用户标识符、进程组控制信息：当前状态、优先级、代码执行入口地址、程序的外存地址、运行统计信息等资源信息：虚拟地址空间的现状、打开文件列表等现场保护：主要包括一些寄存器值（通用、程序计数器PC、
2020-07-05 17:00:28
335
原创 Spark重要知识点总结
Spark哪些算子用到shuffle？去重运算：distinct聚合运算：reduceByKey、groupByKey、aggregateByKey等排序运算：sortBy、sortByKey分区运算：repartition、coalesce集合运算：交、差、并，即 intersection、subtract、join，leftOuterJoin等Transformation和Action算子transformation：由一个RDD运算得到一个新的RDD，惰性运算，不会立即执行act
2020-07-02 11:30:41
704
原创 python内置函数all()和any()
内置函数all()all() 函数用于判断给定的可迭代参数 iterable 中的所有元素是否都为 True，如果是返回 True，否则返回 False。元素除了是 0、空、None、False 外都算 True。注意：空元组、空列表返回值为True// return Trueall(['a', 'b', 'c', 'd'])// return Falseall(['a', 'b', '', 'd']) // return Trueall([]) // return Trueall((
2020-06-11 10:55:14
464
原创 loss突然变为nan？你可能踩了sqrt()的坑
这几天在写一个网络模型，需要自定义损失函数，关于gps距离误差计算的，写完之后，噩梦开始了…训练过程中loss总是莫名其妙的突然变为nan，网上查阅了许多资料，做了各种尝试，比如调整学习率、调整batch大小、调整网络复杂度、梯度裁剪、过滤脏数据、检查是否存在除0、log(0)， 加入BatchNormalization层等，无奈还是会出现loss变为nan的问题。后来分析loss函数本身，发现唯一可能出现问题的地方是下面这行代码里的tf.sqrt()函数：return K.mean(tf.sqrt(
2020-06-05 19:39:40
5040
1
原创 Keras如何设置loss变为nan时自动停止训练
回调函数 TerminateOnNaN()Keras提供的Callbacks中定义了多种回调函数，会在训练的阶段中所使用以查看训练模型的内在状态和统计。你可以传递一个回调函数的列表（作为 callbacks 关键字参数）到 Sequential 或 Model 类型的 .fit() 方法中。在训练时，相应的回调函数的方法就会被在各自的阶段被调用。在模型训练过程中若遇到loss变为nan的情况时，如何使程序自动停止训练呢？首先创建一个TerminateOnNaN类对象：from tensorflow.
2020-06-05 18:55:40
1350
原创 HDFS 常用shell命令大全
cat命令// 查看文件所有行的数据hadoop fs -cat filename// 查看总行数hadoop fs -cat filename | wc -l// 查看.gz文件hadoop fs -cat filename | zcat// (按空格)翻页查看hadoop fs -cat filename ｜ more// 查看从第s行开始的k行数据hadoop fs -cat filename | tail -n +s | head -n k// 将多个不同位置的文件合
2020-06-05 17:35:38
543
Linux内核升级和内核启动打印信息教程.docx
2019-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人