m0_57307642的博客

云计算是一种基于互联网的计算模式，它将计算任务分布在大量的计算机构成的资源池上，使得用户能够以按需使用、按量计费的方式获得所需的计算服务。云计算具有超大规模、高可用性、虚拟化、可伸缩性等优点，已经成为了计算机领域中不可或缺的一部分。云计算是一种通过Web提供IT服务的方法，使用户能从远程服务器存储和访问数据及应用。它主要由IaaS、SaaS和PaaS三种服务组成，在大模型时代又提出了MaaS服务，提供了成本节省和无缝设备间切换的优势。然而，安全性和依赖互联网的潜在风险也是其挑战。

import sysinput = sys.stdin.read #获取输入data = input().split() #获取输入的内容，字符串格式n = int(data[0]) #把字符串形式转int类型#输出,直接打印输出即可main()

日常的调度监控，可以查看实例任务的运行情况，对运行失败的实例进行告警，但是却无法对运行成功的实例进行数据质量的判断。而有些情况下，即使实例任务运行成功了，数据也仍然存在问题，这时候就需要对数据进行质量监控，配置数据质量规则进行判断和告警，以便及时发现数据质量的问题。：监控某表每日分区的数据异常，可以明显看到24/25/27/28四日数据明显异常。

是一个用于创建递归查询的语句。它允许你定义一个 Common Table Expression (CTE)，该 CTE 可以引用自身的输出。递归 CTE 非常适合于查询具有层次结构或树状结构的数据，例如组织结构、文件系统或任何其他具有自引用关系的数据。相信大家都会用，用于创建临时表达式CTE（我理解为临时表），方便在后续代码中引用它，是的代码看起来更加简洁，且逻辑更清晰。例2：查找树形结构所有员工及其上级经理。例1：递归获得递增的序列。

使用pyspark写递归函数，不断left join，直至获得每个部门的一级部门，保存在新表中，再使用人员表关联这张新的一级部门表即可得到每个员工的一级部门。：有一张部门表，和员工表，如何获得员工的一级部门（一级部门的上级部门ID为0）

PySpark是由Spark官方开发的Python语言第三方库，Python开发者可以通过使用python语言来编写Spark程序和SparkSQL完成开发。之所以采用PySpark而不采用Java/Scala，是由于：Dataworks可通过将代码在线写入DataWorks Python资源的方式，实现PySpark作业开发，并通过ODPS Spark节点提交运行该代码逻辑，开发过程较为简单。

在基于 Hash 的 Shuffle 实现方式中，每个 Mapper 阶段的 Task 会为每个 Reduce 阶段的 Task 生成一个文件，通常会产生大量的文件，伴随大量的随机磁盘 I/O 操作与大量的内存开销。计算每个分区时，在分区所在机器的本地上运行task是最好的，避免了数据的移动，减少数据的IO和网络传输，这样才能更好地减少作业运行时间。Spark的任务是以线程的方式运行在进程中的，MR的任务是以进程的方式运行在Yarn集群中的，开启和调度进程的代价大于线程的代价。在不需要排序的场景使用。

kafka是一个分布式消息（系统/队列），是一个集群。

一个分布式、可靠、高可用的海量日志采集、聚合、传输系统。Flume面试很少问比较底层的东西，相当于是一个采集工具，会用会解决故障就好。

union all不会进行去重和排序操作，执行效率要比union高。

这里总结一下刷sql题遇到的那些一开始思路不是很清晰的题目，方便复习，要保证看到相同的题目一眼出思路。

数据倾斜就是在计算数据的时候，由于数据分散度不够，导致大量的数据集中到一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程很慢。

以下是我一个月速通大数据开发的学习路线，仅供参考，学完只是对大数据有一些基本了解，如果学历背景比较好的话，包装一下项目，背背八股文也能找到实习，目前刚学完，准备梳理一下知识，整理八股文准备实习。

（IP地址填自己的，有几个填几个，好像填一个也OK，如果登不上了，这个IP地址可能更新了，重新修改就行）保存之后替换掉原来的hosts文件，重启浏览器，打开www.github.com，你会发现顺畅无比！hosts文件路径：C:\Windows\System32\drivers\etc\hosts。1.查询Github的IP地址。2.修改hosts文件。，话不多说，直接开始。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Python问卷自动填写前言一、自动填写问卷分为几步？二、具体步骤1.自动打开网页2.通过xpath实现自动点击至于怎么找xpath?3.自动填写并提交4.实现循环三、全部代码前言最近学校搞调研活动，需要收集问卷，还有份数要求，数量不够，自己来凑，但是手动填写有很麻烦，所以就有了这个项目。一、自动填写问卷分为几步？首先肯定是要实现自动打开网页，自动点击，这个地方，我搜了以下，基本上都是用的selenium是在我实现了第一步之

小白如何做一个Python智能语音助手真的是小白？新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入真的是小白？大家好，我是一名信息工程的大三学生，由于大一大二没怎么学习技术，所以大三准备挖粪图强。先介绍一下我的学习储备吧