- 博客(11)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hadoop3.1.2 3个namenode异常
环境 centos7.4 hadoop3.1.2 jdk1.8 3台机器搭建ha环境。 三台机器都部署NN 搭建完成后，nn1或nn2为active时，命令一切正常，没有异常显示，直接显示数据。 但是。。。。。。。。。。。。。。。 如果nn3为active时或报异常，提示前一节点nn2为standby状态，但显示的数据结果正常。 原因暂时不详。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 ...
2020-09-04 10:52:50
524
3
原创 flume采集非tmp结尾的文件入hdfs
flume采集非tmp结尾的文件入hdfs a2.sources = r2 a2.channels = c2 a2.sinks = k2 ### define sources a2.sources.r2.type = spooldir #采集文件路径 a2.sources.r2.spoolDir = /data/flumefile/1 #不采集tmp结尾文件 a2.s...
2019-11-22 16:43:36
638
原创 spark aggregateByKey使用java版
RDDaggregateByKey操作官方api：aggregateByKey(U zeroValue, Function2<U,V,U> seqFunc, Function2<U,U,U> combFunc)U zeroValue为定义初始数据；Function2<U,V,U> seqFunc中第一个U是初始数据的U，v是传入数据，第二个U是返回数据；Func...
2018-04-27 15:24:22
1093
原创 Java中获取路径的各种方法
1、 java文件中获得路径Thread.currentThread().getContextClassLoader().getResource("") //获得资源文件(.class文件)所在路径ClassLoader.getSystemResource("")Class_Name.class.getClassLoader().getResource("")Class_Name.class .g...
2018-02-09 13:14:19
160
原创 flume+kafka
Flume启动命令： $bin/flume-ng agent --conf conf--conf-file conf/flume-conf.properties --name producer-Dflume.root.logger=INFO,console bin/flume-ng agent --conf ./conf/ -f conf/flume-kafka.conf -Dflume.
2015-11-17 21:33:27
424
原创 linux挂盘
5.检查 用命令 fdisk -l（如过没有看到dm-3这样的磁盘，重启系统试试） 6．合并磁盘（本次服务器有两个TB的空间需要合在一起） # vgscan 扫描磁盘 #pvcreate /dev/dm-2 把/dev/dm-2做成物理卷 #vgcreate lvm（自己定义） /dev/dm-2 再创建个卷组L
2015-11-17 21:16:16
1680
转载 Linux常用命令
系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpui
2015-11-11 21:13:13
230
原创 java jxl处理excel
通过jxl处理excel的简单demo，包括生成、读取和修改。 package z.demo; import java.io.*; import jxl.*; import jxl.write.Label; import jxl.write.WritableSheet; import jxl.write.WritableWorkbook; public class JavaForEx
2015-02-26 08:30:55
249
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人