![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Maybebb
I hear and I forget, I see and I remember, I do and I understand.
展开
-
cdh5.16.2配置flume读取kafka文件到hdfs
环境 kafka_2.13-2.4.1 cdh5.16.2 flume配置 按需选择 ```java #comonents a1.sources = r1 a1.sinks = k1 a1.channels = c1 #source #a1.sources.r1.type = netcat #a1.sources.r1.bind = 127.0.0.1 #a1.sources.r1.port = 8888 a1.sources.r1.type = org.apache.flume.sourc原创 2021-05-10 17:45:44 · 347 阅读 · 0 评论 -
hadoop性能调优与运维
hadoop性能调优与运维 硬件选择 操作系统调优与JVM调优 hadoop参数调优 hive性能调优 hadoop运维 硬件选择 hadoop运行环境 如何选择合适的硬件 主从节点可靠性:主节点可靠性要好于从节点 单节点选型:多路多核、高频率cpu、大内存 主节点: NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 从节点原创 2017-07-16 14:38:36 · 6116 阅读 · 0 评论 -
hadoop2.5.2出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… us
hadoop2.5.2出现 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable原因:因为我用的centos6.9,centos6的源最高到2.12,这里需要2.14解决:wget http://f原创 2017-10-29 15:41:08 · 275 阅读 · 0 评论 -
hdfs命令警告
hdfs命令警告18/02/12 03:20:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable强迫症的人表示非常难受 解决:ldd /usr/local/hadoop/hadoop-2原创 2018-02-12 11:26:19 · 227 阅读 · 0 评论