2301_79098963的博客

meta_dir = /opt/module/apache-doris-0.15.0/doris-meta #修改绑定 ip (每台机器修改成自己的 ip)#修改绑定 ip (每台机器修改成自己的 ip)4)查看 BE 状态。2)查看 BE 状态。

2)修改 fe 的配置文件注意：⚫ 生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘(如果有 SSD 最好)。⚫ 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定， 才能正确识 别。⚫ JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。3)启动 hadoop1 的 FE。

所谓云原生架构就是以云原生技术为基础和底座，通过最大程度的剥离业务属性功能代码，实现非业务属性能力的统一管理从而实现业务更加敏捷、运营成本更加经济以及伸缩更加灵活的技术架构体系。不知道大家有没有感受，在实际的项目开发中，研发人员真正落到业务需求开发的精力实际可能只有三分之一，其他三分之二的精力在如何保证服务高可用以及如何实现服务高质量运维上面。我们都知道只有业务开发是最重要的，因为它是实际可以为团队或者公司带来实际价值的。

注意：这里需要配置权重 priority，因为抽离的时候会执行第一个common配置，入口处看到jquery也被公用了就一起抽离了，不会再执行wendor的配置了，所以加了权重之后会先抽离第三方模块，然后再抽离公共common的，这样就实现了第三方和公用的都被抽离了。这时候想把a.js, b.js抽离出来合并成一个公共的js，然后在page1, page2中自动引入这个公共的js，项目中分别有a.js, b.js, page1.js, page2.js这四个JS文件，html文件会自动引入main.js。

今天认识了什么是flowable流程引擎，也八卦了Flowable与Activiti关系，刺激，哈哈。实战学习了项目初始化流程引擎实例和自动创建Flowable流程引擎的相关表结构。从今天开始Flowable流程引擎的学习之路，一起学习，一起成长。

Flowable是一个使用Java编写的轻量级业务流程引擎。Flowable流程引擎可用于部署BPMN 2.0流程定义（用于定义流程的行业XML标准）， 创建这些流程定义的流程实例，进行查询，访问运行中或历史的流程实例与相关数据，等等。Flowable是BPMN的一个基于java的软件实现，不过Flowable不仅仅包括BPMN，还有DMN决策表和CMMN Case管理引擎，并且有自己的用户管理、微服务API等一系列功能，是一个服务平台。

/自动创建表结构-表不存在时。//自动创建表结构-表不存在时。* 获取流程引擎对象。* 获取流程引擎对象。

位运算可以理解成对二进制数字上的每一个位进行操作的运算。位运算分为 布尔位运算符 和 移位位运算符。布尔位运算符又分为 位与(&)、位或(|)、异或(^)、按位取反(~)；移位位运算符分为 左移()。逗号运算通常用于变量的连续定义，如下：return 0;这里的就是逗号表达式。运算符用于执行程序代码运算，会针对一个、两个或多个操作数来进行运算。例如：1 + 2，其操作数是 1 和 2，而运算符则是 “+”（加号）。C语言把除了控制语句和输入输出。

ROI 是一个非常重要的指标，它可以帮助企业评估投资的效果和收益，为企业的战略决策提供依据。在实际应用中，ROI 可以用于评估各种类型的投资，比如广告投放、产品研发、营销活动等，帮助企业优化投资策略，提高效益和收益。

例如，Google的BERT模型、OpenAI的GPT模型、Facebook的RoBERTa模型等都是目前最为著名的LLM大模型之一，它们使用了大量的训练数据和强大的计算资源，取得了在自然语言处理领域的重大突破。CVR 指的是广告被点击后，用户进行了期望的行为（比如购买、注册、订阅等）的次数与广告被点击的次数之间的比例，通常以百分比的形式表示。例如，在计算机视觉、音频处理、医疗健康等领域，也可以使用类似的方法，使用大量数据和强大的计算资源来训练大型模型，从而实现更加准确和高效的预测和分析。

Consistency（一致性）用户在访问分布式系统中的任意节点，得到的数据必须一致。Availability（可用性）用户访问集群中任意的健康节点，必须能得到响应，而不是超时或拒绝。Paratition tolerance（分区容错性）分区：因为网络故障或其他原因导致分布式系统中的部分节点与其他节点失去连接，形成独立的分区。容错：在集群出现分区时，整个系统也要持续对外提供服务。分布式系统无法同时满足这三个指标，这个结论就是 CAP 理论。

止，不再深入研究，那么很难做到真正的技术提升。

def run():print(‘我跑的老快了,没人追的上我,钱包在我手里’)print(‘我跑的老快了,没人追的上我,手机在我手里’)print(‘我跑的老快了,没人追的上我,女朋友在我手里’)print(‘我再唱青藏高原’)print(‘我再跳广场舞’)sing()dance()print(‘猫吃鱼’)print(‘狗吃肉’)print(‘人吃藕’)def eat(who, food): # 在定义时传入的参数叫做形参,只能在函数体内部使用。

Theano可以说是最成熟的Python深度学习库之一，Theano是以以为希腊毕达哥拉斯哲学家和数学家毕达哥拉斯的妻子的名字命名，Theano的主要功能：与NumPy紧密集成，用符号式语言定义你想要的结果，该框架会对你的程序进行编译，来高效运行于 GPU 或 CPU。同样，通过更改只有几行代码，你可以快速对现有代码进行并行处理，因为它的DataFrame与Pandas库中的相同，它的Array对象的工作方式类似于NumPy能够并行化以纯Python编写。最重要的是，它是免费的！

学好前端入门阶段之后，自身能够了解并实践前端三件套的基础语法，并且能够使用开发者工具独立开发一个简单的网站，前端入门可以算是学的差不多了。

首先给你总结一下，人工智能，云计算，物联网，区域块链，大数据这些行业比较高大尚，但是都是需要编程基础，你一门语言不会那个行业都轮不到你当然怎么去发展这个是未来的事，我们谁也不知道国家的下一步会怎么去规划至于Java何去何从，这就不是你应该担心的问题，就算以后这些行业没有Java的身影，这门语言也是仍然会持续的被中国人使用下去我觉得这些不是你应该担心的问题，当下就只需要把自己的事情做好，好好学习一门编程语言，这样就算他以后怎么发展，你也有跟别人竞争的资本。如果想要进中大厂，必须得有扎实基础，好的学习能力。

方法 2 比方法 1 效率更好，不但 IO 少了，而且作业数也少了，方案 1 中，log 表 读了两次，jobs 肯定是 2，而方案 2 是 1。这个优化适合无效 id（比如-99，’’，null）产 生的数据倾斜，把空值的 key 变成一个字符串加上一个随机数，就能把造成数据倾斜的 数据分到不同的 reduce 上解决数据倾斜的问题。

【代码】2024年大数据最全【Hadoop】Hadoop 编译源码(2)，太爽了。

Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代码被复制并捐赠 给了 Apache 软件基 金会， 参加 这个 孵化项目的初始成员是Stratosphere 系统的核心开发人员，2014 年 12 月，Flink 一跃成为 Apache 软件基金会的顶级项目。

*在写入的过程中，先写入主分片，成功后再并发写副分片，在数据恢复时以主分片为主。每个文档都有一个或者多个字段，例如books索引指定了书本有2个字段book_id和name两个字段，其实就是Json中的key，常见的类型有keyword、text、数字类型（integer、long、float、double等）、对象存储。如上图，索引有3个分片，主分片分别是P1、P2、P3，队友的副本分别是R1、R2、R3，仔细看。我们往Es中写入的每一条数据都是一个文档，并且我们搜索也是以文档为单位的，所以。

此时A服务从卡顿状态恢复，并且处理完业务，继续执行了del操作，那么此时del操作删除的是B服务的分布式锁，这会导致一系列的问题。假如此时我们的A服务在第2步由于机器的原因卡住了，并且卡顿的时间超过了我们设置的过期时间。此时，B服务获得了相同的分布式锁。，A服务还是会进行del操作删除分布式锁，那么又成了删除B服务的分布式锁。我们可以在加锁之后设置锁的存活时间，存活时间到达之后，锁会自动失效，我们无需手动删除key。当A服务判断了分布式锁的UUID与自身的UUID值相等，那就准备进行删除操作，但是此时，

操作：放入元素sadd，求set的交集sinterstore，sinterstore方法可以有多个参数，因为这个方法会在redis生成一个set，用来存放交集，所以第一个参数是新生成set的名字，后面的参数全都是指定哪些set加入求交集方法。而hgetAll只需要输入一个参数，然后返回一个map给你，这个map里面装的全是狗，懂了吧，如果你要获取具体的dog对象，你还的输入一个key，这个key就是那个field；操作：hset方法，第一个参数是key，第二个参数是field，第三个参数是value。

Redis的SortedSet是一个可排序的set集合，与Java中的TreeSet有些类似，但底层数据结构却差别很大。SortedSet中的每一个元素都带有一个score属性，可以基于score属性对元素排序，底层的实现是一个跳表（SkipList）加 hash表。因为SortedSet的可排序特性，经常被用来实现排行榜这样的功能。

imei为小写md5：比如2d131005dc0f37d362a5d97094103633；idfa为大写带”-”md5：比如：51DFFC83-9541-4411-FA4F-356927E39D04；媒体自身的cookie长短不一；需要为全量数据提供服务，supperid是百亿级、媒体映射是千亿级、移动id是几十亿级；每天有十亿级别的mapping关系产生；对于较大时间窗口内可以预判热数据（有一些存留的稳定cookie）；对于当前mapping数据无法预判热数据，有很多是新生成的cookie。

作用：设置小型大写字母的字体显示文本，这意味着所有的小写字母均会被转换为大写，但是所有使用小型大写字体的字母与其余文本相比，其字体尺寸更小。通常 font-family 属性应该设置多个值，以保证当浏览器不支持第一种字体时使用其他的备选字体。: 如果字体系列的名称超过一个字，它必须用引号，如 font family：“宋体”。多个字体系列用一个逗号分隔指明。作用：用于指定斜体文本。在CSS中，我们使用。属性规定文本的字体。作用：设置字体的大小。作用：设置字体的粗细。

文字是网页界面上最常见的元素，而文字的字体、大小和文字样式等都可以通过CSS来设置。

比如：查询内存使用率>80,CPU使用率>70的服务器的时候，就不会两表关联查询了，查询一张宽表就可以了，数据分析的性能飞跃式提升。其实还有很多这种类型的数据，这种数据的特点就是：数据量大、产生之后不会发生变化（那一个时间刻度的数据就不会发生变化）。因此，数据仓库通常面向的是吞吐量大的历史数据进行存档、不会在做更新删除操作的这种数据场景，数据存档之后通常只面向数据查询分析。又比如：用户商品点击量数据、用户操作行为数据、用户网页浏览时长数据等等，这些数据都是对用户进行分析所需要的数据，一旦入库不会修改。

假如以pParent为根的子树不平衡，即pParent的平衡因子为2或者-2，分以下情况考虑。

（默认大概3% 的错误率，可牺牲时间和空间，使错误率无限趋向于零）

【代码】最全Java WebSocket 客户端接收大量数据_清空websocket的接收缓存区，大数据开发资深架构师分享学习经验及总结。

由于MAC地址（也称硬件地址）有多播MAC地址这种类型，因此只要把IPV4多播地址映射成多播MAC地址，即可将IP多播数据报封装在局域网的MAC帧中，而MAC帧首部的目的MAC地址字段的值，就设置为由IPV4多播地址映射成的多播MAC地址。如果不同的IP多播地址之间的不同指出仅出现在不能映射的那5个比特，则这些IP多播地址会映射出同一个多播MAC地址，因此收到IP多播数据报的主机还要在网际层利用软件进行过滤，把不是主机要接收的IP多播数据报丢弃。非多播组成员也可以向多播组发送IP多播数据报。

第四步 定义图像处理的方法generator的主要作用是处理图像，并迭代的方式返回一个batch的图像以及对应的label。思路：在while循环：初始化input_samples和input_labels，连个list分别用来存放image和image对应的标签。分别从file_pathList和labels，得到图片的路径和对应的label读取图片如果是训练就训练的transform，如果不是就执行验证的transform。resize图片将image转数组。

命令：tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app。（5）将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。可利用cp命令或ssh-copy-id,建议用ssh-copy-id,较为简单。（4）设置master->slave1,master->slave2。ssh-copy-id命令：ssh-copy-id master。(5)将/etc/hosts文件传输给slave1,slave2。

此时，发现master节点web页面打不开了，slave1节点变为active状态，slave2依旧是standby。三个节点web页面如下，其中master为active,slave1与slave2为standby。9.namenode主从信息同步（在slave1、slave2上执行）========== rm1 的配置 ==================== rm2 的配置 ==================== rm3 的配置 ==========

测试免密登录是否配置成功测试成功之后，exit回到ljl节点。

所以，如果集群以前能启动，但后来启动不了，特别是数据节点无法启动，不妨试着删除所有节点（包括Slave节点）上的“/usr/local/hadoop-3.3.6/tmp”文件夹，再重新执行一次“hdfs namenode -format”，再次启动即可。需要把所有数据节点的主机名写入该文件，每行一个，默认为 localhost（即把本机作为数据节点），所以，在伪分布式配置时，就采用了这种默认的配置，使得节点既作为名称节点也作为数据节点。如果不成功，可以通过启动日志排查原因。

(img-T56i8MRj-1715406631622)]AirFlow配置：airflow.cfg。原理：自动发送邮件的原理：邮件第三方服务。：了解AirFlow中如何实现邮件告警。：了解AirFlow的常用命令。

(img-oqinJZn1-1715406595521)]AirFlow配置：airflow.cfg。原理：自动发送邮件的原理：邮件第三方服务。：了解AirFlow中如何实现邮件告警。：了解AirFlow的常用命令。

fact_srv_stn_ma：网点物料事务事实表。

成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。fact_srv_stn_ma：网点物料事务事实表。