栗汐遥-CSDN博客

原创 Flume了解

其主要用途是解决大规模数据采集和传输的问题，通常在大数据处理和分析场景中使用。4.实时数据流：Flume可以用于构建实时数据流处理管道，将实时生成的数据传送到处理引擎，如Apache Kafka、Hadoop HDFS等，以便进行实时分析和决策。1.日志收集：Flume通常用于从多个服务器、应用程序、网络设备等源头收集大量的日志数据，这些日志数据可能包括服务器日志、应用程序日志、安全事件日志等。4.数据清洗和处理：在传输期间，您可以配置Flume来清洗和格式化日志数据，以确保它们符合后续分析工具的要求。

2023-10-15 11:57:44 89 1

原创 hadoop集群的简单运行流程

HDFS是Hadoop的文件系统，它能够将大量的数据划分成更小的块，并将这些块分发到集群中的各个节点上进行并行处理。在Reduce阶段，Reducer任务接收到相同城市的中间键值对，计算这些城市的人口之和，然后将最终结果写入输出文件中。：使用适当的输入格式读取每个数据源中的数据。这只是数据分发的一个简单示例代码，实际的应用中可能需要更多的配置和处理步骤，例如处理大量的数据文件、处理数据的复杂逻辑等。然后，在Reduce阶段，Reducer任务接收到相同id的中间键值对，并将它们按照需要的方式进行整合。

2023-09-28 15:59:51 396

原创 xpath基础用法

这些是XPath的基本用法。XPath还支持更高级的功能，例如数值比较、节点集合操作和函数的使用。具体的用法取决于你的XML文档的结构和你想要查询的数据。XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的查询语言。2.1通过路径选择节点：/ 表示从根节点开始，// 表示在整个文档中查找。4.1使用 * 通配符匹配任意元素，| 表示多个路径。1.2选取特定节点：nodeName。1.1.选取所有节点：*

2023-09-28 14:30:35 291

原创 hadoop集群核心组件详细介绍

3.Application Manager：每个正在运行的应用程序都有一个对应的Application Manager，它负责应用程序的生命周期管理，包括应用程序的提交、调度和监控。7.NameNode和DataNode之间的通信：NameNode与DataNode之间会保持通信，以侦测DataNode的健康状态，并定期更新数据块的信息。4.1在分区和排序之后，MapReduce可以使用可选的Combiner函数对每个分区的数据进行局部规约，以减少数据传输和存储的开销。

2023-09-23 18:18:48 197 1

原创 Hadoop集群详细介绍与用途

它将作业分解为多个并行的Map和Reduce任务，并自动处理作业的并行化和故障恢复。Hadoop集群是一个功能强大的分布式计算框架，用于存储和处理大规模的数据集。文章将深入介绍Hadoop集群的关键组件和工作原理，并讨论其在大数据处理和分析领域的实际应用。15.实时流处理：Hadoop集群的一些组件，如Apache Kafka和Apache Storm，能够处理实时流数据。14.机器学习和数据挖掘：Hadoop集群可以与机器学习和数据挖掘工具集成，用于训练模型、执行数据挖掘任务和实现智能决策。

2023-09-17 11:51:43 874 1

原创 java的拆箱和装箱的基本介绍

在需要处理未知类型对象时，可以将其声明为Object类型，这样就能够存储任何对象（包括基本数据类型）。1. 自动装箱（Autoboxing）：将基本类型直接赋值给对应的包装类对象，或者将基本类型作为参数传递给方法时，Java会自动将其转换为对应的包装类对象。2. 自动拆箱（Unboxing）：将包装类对象直接赋值给基本类型变量或传递给期望基本类型参数的方法时，Java会自动将其转换为对应的基本类型。Java中的自动拆箱和装箱是Java 5之后引入的语言特性，它们主要用于基本类型和对应的包装类之间的转换。

2023-04-14 16:40:03 152 1

原创 this is incompatible with sql_mode=only_full_group_by问题

1. 修改sql_mode设置：将only_full_group_by从sql_mode中删除或者将整个sql_mode设置为空，这样就可以避免报错。这个问题通常出现在MySQL数据库中，是因为MySQL的sql_mode设置为了only_full_group_by，这种模式下，在使用GROUP BY子句分组查询时，如果SELECT中的字段不在GROUP BY 中出现，那么这个查询就会报错。值得注意的是，修改sql_mode可能会影响其他查询的结果，所以最好只在需要时修改当前会话的sql_mode设置。

2023-04-10 12:35:11 5130 2

qq_74585474的博客