- 博客(6)
- 收藏
- 关注
RSS订阅原创 【Flume】常用Source、Channel、sink组件类型选型
Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传 taildir维护了一个json格式的positionFile,其会定期往positionFile中更新每个文件读取到的最新位置，因此能够实现断点续传。如果您有多个 Kafka 源在运行，您可以使用相同的 Consumer Group 配置它们，以便每个都读取一组唯一的主题分区。：event保存在本地文件中，可靠性高，数据可以恢复，但吞吐量低于Memory Channel，即速度没有相对比较慢。：可以将命令产生的输出作为源。
2023-10-15 12:38:17
663
1
原创 linux安装mysql相关rpm包时常见报错
（假设这里是中间段值含有-client-plugins的rpm包没有安装上）解决办法2，最后面加–nodeps --force，忽略依赖安装分情况解决办法情况1:解决办法情况2：解决办法情况3：解决办法再次安装即可解决办法情况5：解决办法
2023-10-11 10:32:47
757
原创 Hadoop集群搭建(简要)
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。
2023-10-05 20:14:35
258
原创 Hadoop集群启动后，缺少namenode或datanode进程
简述：NameNode 是 HDFS 的主节点，是负责管理整个 HDFS 集群的，相当于一个团队的老大,若没有启动，则不会进入web界面等。
2023-10-01 14:20:21
8159
2
原创 centos时间设置
百度百科：网络时间协议，英文名称：Network Time Protocol（NTP）是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等）做同步化，它可以提供高精准度的时间校正（LAN上与标准间差小于1毫秒，WAN上几十毫秒），且可介由加密确认的方式来防止恶毒的协议攻击。NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务。
2023-09-22 13:30:58
525
1
原创 Java完整学习路线和规划
Java 开发 (实习生/应届生) 完整学习路线和规划，希望能够帮到屏幕前迷茫的你，现在整理完整学习路线和规划如下，分为入门篇、基础篇、高级篇、提升篇、扩展篇，按顺序往下学习一、入门篇推荐学习周期 40天这一部分着重于基础语法层面、数据结构与算法相关的学习，不要心急，这是最简单也是最重要的阶段。
2023-09-08 20:11:59
156
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人