2401_84166811的博客

以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型， 可以通过在 mysql-client 中执行 HELP CREATE TABLE;查看。AGGREGATE KEY 数据模型中， 所有没有指定聚合方式(SUM 、REPLACE 、MAX、 MIN) 的列视为 Key 列。而其余则为 Value 列。定义列时， 可参照如下建议：➢ Key 列必须在所有 Value 列之前。➢ 尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。

以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型， 可以通过在 mysql-client 中执行 HELP CREATE TABLE;查看。AGGREGATE KEY 数据模型中， 所有没有指定聚合方式(SUM 、REPLACE 、MAX、 MIN) 的列视为 Key 列。而其余则为 Value 列。定义列时， 可参照如下建议：➢ Key 列必须在所有 Value 列之前。➢ 尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。

则该列为 key 列。INT MIN DEFAULT “99999” COMMENT “用户最小停留时间”INT MIN DEFAULT “99999” COMMENT “用户最小停留时间”BIGINT SUM DEFAULT “0” COMMENT “用户总消费”,INT MAX DEFAULT “0” COMMENT “用户最大停留时间”,BIGINT SUM DEFAULT “0” COMMENT “用户总消费”,INT MAX DEFAULT “0” COMMENT “用户最大停留时间”,

若出现 Client 和 Server 两部分内容， 则证明安装成功。

缓存穿透产生的原因是什么？

缓存穿透产生的原因是什么？

人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

今天学习的内容是Flowable框架介绍和实战项目初始化，和虚竹哥一起学习吧。Flowable是一个使用Java编写的轻量级业务流程引擎。Flowable流程引擎可用于部署BPMN 2.0流程定义（用于定义流程的行业XML标准）， 创建这些流程定义的流程实例，进行查询，访问运行中或历史的流程实例与相关数据，等等。

java.lang.Thread类的构造方法：Thread​(Runnable target) 分配新的 Thread对象。Thread​(Runnable target, String name) 分配新的 Thread对象。

上图为查找值为29的节点，有以下步骤：查看根节点 41。因为 41>29，所以查看 41 的左孩子 20。因为 20

（1）新浪财经：免费提供接口，这篇博客教授了如何在新浪财经上获取获取历史和实时股票数据。上海市政务数据服务网：覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。Data.gov：美国政府开放数据，包含气候、教育、能源金融等各领域数据。（5）76676互联网金融门户：网贷、P2P、理财等互金数据。（4）京东：3C产品为主的商品信息、销量、折扣、点评等数据。（1）豆瓣电影：国内最受欢迎的电影信息、评分、评论数据。（4）网易云音乐：音乐歌单、歌手信息、音乐评论数据。

这里一共安装三台机器，分别是 hadoop001、hadoop002、hadoop003二、zookeeper安装三、zookeeper配置zoo.cfg配置内容如下。

比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**给大家介绍了大数据的职业情况，下面我收集了一些大数据行业的薪资情况（仅供参考哈）2，hadoop运维工程师。3，数据仓库开发工程师。4，数据可视化工程师。6，大数据开发工程师。3，数据库运维工程师。

写这种教学类的文章最大的痛苦就是就是：想象对面是一个小白，得想方设法把他讲明白，于是我每篇记几万字的笔记，但是没人看0.0。当然这或许也有些背离我当初只想把CSDN当作学习的笔记的初衷了。。。我不知道别人是怎么学的，我作为一个上大学前不会分辨显卡CPU等的学生，更别谈人工智能的基础了。我刚开始学的时候，它给我感觉就是：好多知识！这就很痛苦了，由于我是“散修”，没有宗门指导，我便发挥我的水平硬学！我记得以前玩DNF的时候女鬼剑"二觉"，其中一句介绍的台词是“凝百家之长”，为了学习AI，我先后观看了3。

梦想橡皮擦账号从 2019 年开始正式开始技术博客的写作，最初的目标很简单，因为热爱爬虫，所以想撰写一套爬虫课程。当年的擦哥是做 .net 的工程师，语言并不沾光，就开始了解哪门语言写爬虫最简单，挑来挑去最后选中了 Python，也因为这样，从 .net 切换到了 Python ，到如今，擦哥估计已经不知道自己具体擅长哪门语言了。下面引用的他的口头禅。擦哥：全栈工程师？呵呵，我是全能工程师。擦姐：臭不要脸~那如果你也想进入 IT 自媒体，有两个字一定要谨记：坚持。有几个初期操作，可以尝试。

95%以上大数据知识点，真正体系化！

面积（计算时请使用Math类中的常量，面积为double类型，保留三位小数，四舍五入部分预设代码已经完成）有一个长度为7的无序数组，按照从小到大的顺序排序后输出。输入： 13 11 9 7 5 3 1。输出： 1 3 5 7 9 11 13。圆周率要使用Math类中的常量。数组中数据排序后输出。

启动后，通过浏览器访问能看到Apache Tomcat的内容就说明Tomcat已经启动成功。注意: 启动的过程中，控制台有中文乱码，需要修改conf/logging.prooperties。

/ 为了区分int和long类型，long类型变量的初始值之后加L或者l。// 编译时报错，初值超过了int的范围。//写成1.0F 也可以。

（2）Semantic Analyzer：将抽象语法树转换成查询块（3）Logic Plan Generator：将查询块转换成逻辑查询计划（4）Logic Optimizer：重写逻辑查询计划，优化逻辑执行计划（5）Physical Plan Gernerator：将逻辑计划转化成物理计划（MapReduce Jobs）（6）Physical Optimizer：选择最佳的 Join 策略，优化物理执行计划。

可以看到，这个方法的初始默认行为是比较对象的内存地址值，一般来说，意义不大。在这些类当中equals有其自身的实现（一般都是用来比较对象的成员变量值是否相同），而不再是比较类在堆内存中的存放地址了。所以说，对于复合数据类型之间进行equals比较，在没有覆写equals方法的情况下，他们之间的比较还是内存中的存放位置的地址值，跟双等号（==）的结果相同；或者equals方法时，更多的得到是二者的值是否相等（除非你比较的对象类型重写了equals方法，实现了自己的比较逻辑），而且很明显使用。

（1）使用hist函数画出其直方图，使用density函数加入密度曲线，使用table统计产量频数，并进行简单分析。读取student_BMI.csv中21个学生的相关数据，分别使用sort，rank，order对BMI进行排序。（2）利用上问的频数分布计算基本统计数，包括样本容量、最小值、最大值、极差、平均数、方差、标准差、变异系数。对BMI，高数，英语成绩进行描述性统计分析。随机产生21名学生的高数和英语成绩向量，并加入到上题产生的数据框中。，包括最小值、最大值、极差、平均数、方差、标准差、变异系数。

Apache RocketMQ 是一款典型的分布式架构下的中间件产品，使用异步通信方式和发布订阅的消息传输模型。Apache RocketMQ 产品具备异步通信的优势，系统拓扑简单、上下游耦合较弱，主要应用于异步解耦，流量削峰填谷等场景。分布式系统架构思想下，将复杂系统拆分为多个独立的子模块，例如微服务模块。一种是同步的RPC远程调用同步RPC调用模型下，不同系统之间直接进行调用通信，每个请求直接从调用方发送到被调用方，然后要求被调用方立即返回响应结果给调用方，以确定本次调用结果是否成功。

习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。如果修改某个域所对应的值，直接用添加数据的命令就可以，会覆盖掉，就相当于修改数据了。【Sorted Set类型（有序集合）】（member为key对应的值）

在《Hadoop系列》的第一篇博文里，就已经提到了。

使用 Flume 监听整个目录的文件。

假设你和两位朋友正在数项链上有多少颗珠子。你捏住珠子，边数边拨，每拨过一颗珠子就给总数加一。你的朋友也这样数他们手中的珠子。当你分神忘记数到哪里时，怎么办呢?如果项链上有很多珠子，你显然不想从头再数一遍，尤其是当三人的速度不一样却又试图合作的时候，更是如此(比如想记录前一分钟三人一共数了多少颗珠子，回想一下一分钟滚动窗口)。于是，你想了一个更好的办法: 在项链上每隔一段就松松地系上一根有色皮筋，将珠子分隔开;当珠子被拨动的时候，皮筋也可以被拨动;然后，你安排一个助手，让他在你和朋友拨到皮筋时记录总数。

那给不同地区部署的时候就需要不同的es包的版本，并修改配置文件以加载不同版本的实现类。它可以对package名进行一部分的替换，这样就相当于把es的代码copy了一份，就可以跟7.6.2的包同时使用。最后还需要注意修改META-INF中service的全限定类名，有的项目是通过类加载器去找的，所以也要改。(1)服务运行时建立速度可能很慢，并且升级完成后还需要同步中途的数据，所以建议停止访问es。所以如果在不修改业务代码的情况下，要访问es8.x需要使用7.17.14的es相关包。相关api访问es。

解决方案：1.初始化2.赋值。

⭐️注意：在构造方法执行过程中一连串调用了父类的构造方法，父类的构造方法又继续向下调用它的父类的构造方法，但是实际上对象只创建了一个！⭐️思考：“super(实参)”的作用？：**初始化当前对象的父类型特征，**并不是创建新对象；实际上对象只创建了1个。⭐️super关键字代表什么？（1）super关键字代表的就是“当前对象”的那部分父类型特征！（2）我继承了我父亲的一部分特征：例如：眼睛、皮肤等；super代表的就是“眼睛、皮肤等”。

⭕ 按操作数据单位不同分为：字节流(8bit)，字符流(16bit⭕ 按数据流的流向不同分为：输入流，输出流⭕ 按流的角色的不同分为：节点流，处理流节点流：直接从数据源或目的地读写数据处理流：不直接连接到数据源或目的地，而是“连接”在已存在的流（节点流或处理流）之上，通过对数据的处理为程序提供更为强大的读写功能。Java的IO流共涉及40多个类，实际上非常规则，都是从以上4个抽象基类派生的，由这4个类派生出来的子类名称都是以其父类名作为子类名后缀。(抽象基类)字节流字符流输入流Reader输出流。

以下是互联网的解释。合成模式属于对象的结构模式，有时又叫做“部分——整体”模式。合成模式将对象组织到树结构中，可以用来描述整体与部分的关系。合成模式可以使客户端将单纯元素与复合元素同等看待。经常会出现有树结构的情况 , 其中由单独的对象或者单独对象组成的合成对象组成 , 此时就需要利用一种方式来完成树结构的构建工作 .合成模式提供一个树结构中所有对象的统一接口 , 规范树中单独对象和合成对象的构建过程 , 合成模式更像一个数据结构 .

meta:文件的索引，文件和目录是文件系统的基本元素，HDFS将这些元素抽象成INode，每一个文件或目录都对应一个唯一的INode。block:真实的数据存储的位置，Block是对于文件内容组织而言的，按照固定大小，顺序对文件进行划分并编号，划分好的每一个块就称之为一个Block。

总结起来，distcp命令是Hadoop中用于复制数据的工具，可以在不同的Hadoop集群之间、不同的Hadoop文件系统之间、甚至本地文件系统和Hadoop文件系统之间进行数据复制。以下是一个使用distcp命令的例子： 假设我们有两个Hadoop集群：源集群和目标集群，并且我们要将源集群上的/user/source_data目录中的数据复制到目标集群的/user/target_data目录中。-m 200表示200个并发核，可根据实际数据量更改，几个T的数据，200核大约需要10几到半个小时左右。

总结起来，distcp命令是Hadoop中用于复制数据的工具，可以在不同的Hadoop集群之间、不同的Hadoop文件系统之间、甚至本地文件系统和Hadoop文件系统之间进行数据复制。以下是一个使用distcp命令的例子： 假设我们有两个Hadoop集群：源集群和目标集群，并且我们要将源集群上的/user/source_data目录中的数据复制到目标集群的/user/target_data目录中。数据迁移：当需要将数据从一个Hadoop集群迁移到另一个Hadoop集群时，可以使用distcp命令。

resourcemanager配置 单机版可以在同一台服务器上可以不配置。以下配置要根据服务器情况进行配置 我的云服务器只有2G的内存。设置日志聚集服务器地址。设置日志保留时间为7天。

从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

简历模板。

AirFlow配置：airflow.cfg。原理：自动发送邮件的原理：邮件第三方服务。：了解AirFlow中如何实现邮件告警。：了解AirFlow的常用命令。：了解一站制造中调度的实现。