拉格朗日的学习笔记

为了确保数据的安全性、提升系统的可靠性和性能，企业需要采用一系列先进的设备和系统来构建坚固的IT防御体系。其中，前置机、跳板机和堡垒机作为关键组件，各自在网络安全和运维管理中发挥着不可替代的作用。

堡垒机，又称为运维审计系统，是一种专门用于加强网络安全管理的设备。部署在网络环境中，主要用于监控和记录运维人员对网络内服务器、网络设备、安全设备、数据库等关键资产的操作行为，核心功能是提供可控及审计的能力，确保网络和数据免受外部和内部用户的非法访问和破坏。堡垒机起源于跳板机（前置机）的概念，但相较于传统的跳板机，堡垒机提供了更为全面和高级的安全功能。跳板机主要作为运维人员远程登录的集中入口，但缺乏对运维人员操作行为的控制和审计能力，存在严重的安全风险。

最初，我成为创作者的初心，是希望将自己在实战项目中的经验、日常学习过程中的点滴，以及技术上的见解和心得，与更多人分享。我相信，通过分享和交流，我们可以共同推动技术的进步和创新，为整个社区的发展贡献自己的力量。这些交流和合作不仅让我收获了更多的知识和经验，也让我感受到了技术社区的温暖和力量。我深知自己的成长和进步离不开他人的帮助和支持，因此我也愿意将自己的经验和知识分享给更多的人。

代码实践是软件开发中的重要一环，它关乎代码质量、可维护性和可扩展性。作为开发者，我们每天都要编写大量的代码。但是，如何写出高质量、易于维护的代码呢？在这篇文章中，我将分享一些我认为的最佳代码实践，以及如何在实践中运用它们。：展示变量命名、代码风格、注释和文档等方面的代码样例，说明如何提高代码可维护性和可读性。

task 放到哪个位置合适，从下图可以看出，在分布式节点中，task可以放到上面的节点也可以放到下面的节点。我们可以看到数据是在上面的节点中，逻辑计算是在下面的节点上。如果将上面的节点中的数据转移到下面的节点中，且节点的数据非常大，那么需要考虑网络延迟问题。字符流的底层逻辑 依旧是字节流，一个一个字节读取后，转换成字符。读取完后，不会马上打印出来先放到buff缓冲区域，待到达某个阈值，一起打印出来。之前的RDD是不保存数据的，但是IO可以临时保存一部分数据。由IO操作原理可见，对RDD进行了层层的装饰。

由于这样的弊端，催生了支持 DAG 框 架的产生。在分布式计算框架中一般都是多个任务同时执行，由于任务分布在不同的计算节点进行 计算， 所以能够真正地实现多任务并行执行， 记住，这里是并行， 而不是并发。，这里的 Master 是一个进 程， 主要负责资源的调度和分配，并进行集群的监控等职责， 类似于 Yarn 环境中的RM, 而 Worker 呢，也是进程， 一个 Worker 运行在集群中的一台服务器上， 由Master 分配资源对 数据进行并行的处理和计算，类似于 Yarn 环境中 NM。

Spark Task 的启动时间快。Spark 只有在 shuffle 的时候将数据写入磁盘，而 Hadoop 中多个 MR 作业之间的数据交。经过上面的比较，我们可以看出在绝大多数的数据计算场景中，Spark 确实会比 MapReduce。在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还。但是 Spark 是基于内存的，所以在实际的生产环境中，由于内存的限制，可能会。架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速。

URL全称是资源描述符，我们可以这样认为：一个URL地址，它用于描述一个网络上的资源，而HTTP中的GET，POST，PUT，DELETE就对应着对这个资源的查 ，改 ，增 ，删 4个操作。变量可以指向函数，函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数。缺点：内存泄露，由于闭包会使得函数中的变量都被保存在内存中，内存消耗很大，所以不能滥用闭包。Angular ：一个应用设计框架与开发平台，用于创建高效、复杂、精致的单页面应用。

尾调用指的是函数的最后一步调用另一个函数。代码执行是基于执行 栈的，所以当在一个函数里调用另一个函数时，会保留当前的执行上 下文，然后再新建另外一个执行上下文加入栈中。使用尾调用的话， 因为已经是函数的最后一步，所以这时可以不必再保留当前的执行上 下文，从而节省了内存，这就是尾调用优化但是 ES6 的尾调用优 化只在严格模式下开启，正常模式是无效的。

在 JavaScript 中，基本类型是没有属性和方法的，但是为了便于操 作基本类型的值，在调用基本类型的属性或方法时 JavaScript 会在 后台隐式地将基本类型的值转换为对象，例如字符串//3使用Object （）函数显式地将基本类型转换为包装类 型valueOf （）方法将包装类型倒转成基本类型DOM 指的是文档对象模型，它指的是把文档当做一个对象，这个对象 主要定义了处理网页内容的方法和接口。DOM 的最根本的对象 document 对象也是 BOM 的 window 对象的子对象。

首先将页面上的图片的 src 属性设为空字符串，而图片的真实路径则设置在 data-original 属性中，当页面滚动的时候需要去监听 scroll 事件，在 scroll 事件的回调中，判断我们的懒加载的图片是否进入可视区域，如果图片在可视区内则将图片的 src 属性设置为 data-original 的值，这样就可以实现延迟加载。setTimeout(fn, 0)的含义是，指定某个任务在主线程最早可得的空闲时间执行，也就是说，当前代码执行完（执行栈清空）以后，尽可能的早执行。left:200px;

SPA单页面应用：在使用ajax与服务器数据交互过程中，实现局部数据的更新时，浏览器地址栏的url链接并没有发生改变，浏览器因为不会保存更新记录（浏览器会记录地址栏的url资源链接，如果url链接发生变化，浏览器会把该url链接保存到一个特殊的数据结构中，这样当用户点击返回与前进按钮时，会快速访问已经被记录的url链接资源。这时候再去返回就会出现非期待性的结果。

首先Spark摒弃了MapReduce中的线map在reduce这样严格的方式，spark 可以执行更通用的有向无环图算子，这就意味着，在MapReduce 中需要将中间结果写入分布式文件系统时，Spark能将中间结果直接传入流水作业线的下一步。再次，Spark扩展了前辈们的内存计算能力。作为一个通用的计算引擎，它的核心API为数据转换提供了强大的基础，它独立于统计学、机器学习活矩阵代数的任何功能，它的SCALA和python API 让我们可以用表达力极强的通用编程语言编写程序，还可以访问已有的库。

还是要说，申请下来后的感觉是真的非常开心的。从四月开始整理各种面试知识点，有一次熬夜到凌晨2点，印象深刻！！开始整理博客的最初目的，仅仅是转移注意力，不想把过多的时间浪费在没有意义的事情上。同时也发现整理博客是一件非常有趣的事情。可以让自己整理和分享平日学的知识。在csdn上看到很多有趣的大佬。相互交流，共同进步。😏最重要的是寻找到志同道合的人，在某个点上可以互相帮助。看见道友留言，满满的激励。当然自己也曾一度沉迷、纠结于粉丝量和阅读量。哈哈哈 现在，看来都是过眼云烟。😏。

「数据科学」有几个硬道理是不可违背的，Cloudera数据科学团队的一项重要职责就是宣扬这些硬道理。一个系统要想在海量数据的复杂分析方面取得成功，必须的明白这些硬道理，。，绝大部分的工作是数据预处理。数据是混乱的，在让数据产生价值之前，必须对数据进行清洗，处理，融合，挖掘和其他操作。特别是大数据集，由于人们很难直接检查，为了知道需要哪些预处理步骤，甚至需要采用计算方法。一般情况下，即使在模型调优阶段，在整个数据处理管道的各个作业中，花在特征提取和选择上的时间比选择和实现算法的时间还要多。比如，在构建网站欺诈