- 博客(5)
- 收藏
- 关注
RSS订阅原创 在FinalShell中使用Flume实现数据监听的实践教程
代码为flume-ng agent -n a1 --conf-file nc-flume.conf -Dflume.root.logger=INFO,console。(1).Agent：Flume Agent是数据采集的主要组件，负责监听指定的数据源，将数据传输到Channel中，并最终将数据写入到目标位置。(4).Sink：Sink是Flume Agent中用于将数据从Channel中发送到目标位置的组件，可以是文件、网络端口、数据库等。(2).数据聚合：将采集的数据聚合到指定的Channel中。
2023-10-15 14:48:23
126
原创 Hadoop的基础代码
(4).hdfs dfsadmin -refreshNodes：刷新节点列表，更新HDFS集群的节点信息。(3).hadoop fs -put <本地文件> <目标路径>：将本地文件复制到HDFS中的目标路径。(3).hdfs dfs -put <本地文件> <目标路径>：将本地文件复制到HDFS中的目标路径。(4).hadoop fs -get <源路径> <本地目录>：将HDFS中的文件复制到本地目录。(4).hdfs dfs -get <源路径> <本地目录>：将HDFS中的文件复制到本地目录。
2023-09-30 20:26:09
266
原创 大数据技术的相关基础知识
3.虚拟网络：VMware Workstation Pro提供了虚拟网络功能，可以创建不同类型的虚拟网络，如桥接网络、NAT网络和仅主机网络等，实现虚拟机与主机机器或其他虚拟机之间的通信。7.虚拟机调试与测试：VMware Workstation Pro提供了虚拟机调试和测试的功能，可以模拟不同的环境和场景，方便开发和测试人员进行软件开发和测试工作。6.数据存储与管理：介绍使用Hadoop生态系统进行数据存储和管理的技术和方法，包括使用HBase进行实时数据存储和查询、使用Sqoop进行数据导入和导出等。
2023-09-30 19:28:38
186
原创 Hadoop入门指南：大数据处理的利器
例如，Flume用于实时数据采集，Sqoop用于关系型数据库和Hadoop之间的数据传输，Pig用于数据处理和分析，等等。除了HDFS和MapReduce，Hadoop还包括其他重要组件，如YARN（资源调度和管理）、HBase（分布式数据库）、Hive（数据仓库）、Spark（内存计算框架）等。了解这些组件的功能和用法，能够更好地利用Hadoop进行大数据处理。Hadoop采用分布式架构，包括两个核心组件：Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。
2023-09-24 13:54:17
183
原创 Linux的免密
1.修改hosts文件并拷贝到其他虚拟机。1.通过ssh-keygen生成密钥。2.在其他虚拟机进行验证。2.拷贝密钥到其他虚拟机。
2023-09-17 18:14:25
73
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人