Hadoop
Hadoop集群的问题总结
后厂村Sherwin
推动数字产业化”是大数据发展的核心,培育壮大包括大数据在内的新兴数字产业!
展开
-
HBase 节点消失 :HRegionServer Aborted
开启HBase,节点消失,查看消失节点日志: 问题发现:看看集群节点的时间是否同步?(多半是这个原因) 解决:对各个节点进行同步时间 转root用户后执行: ntpdate pool.ntp.org原创 2020-07-12 11:15:36 · 1404 阅读 · 0 评论 -
HBase split policy
hbase.regionserver.region.split.policy Description A split policy determines when a region should be split. The various other split policies that are available currently are BusyRegionSplitPolicy, ConstantSizeRegionSplitPolicy, DisabledRegionSplitPolicy, D原创 2020-07-10 12:22:18 · 354 阅读 · 0 评论 -
hadoop优化-压缩案例
一个压缩案例: map输入为数据压缩,map输出为数据压缩,reduce输出为数据压缩 代码中指定配置编解码器为DefaultCodec 配置执行优先级:程序代码指定 > 自定义配置文件 > 默认配置文件 代码: mapper类 import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWrit...原创 2020-04-24 23:43:00 · 190 阅读 · 0 评论 -
Linux中用rpm命令安装JDK(1.8),非常简单的步骤
第一步:下载软件包 进入官网下载 https://www.oracle.com/technetwork/java/javase/downloads/index.html rpm格式的JDK,例如jdk-8u131-linux-x64.rpm,可通过xftp客户端从windows复制到Linux虚拟机。 第二步,添加执行权限 找到安装包并添加执行权限 [root@linux_test jdk]#c...原创 2019-04-15 16:04:27 · 657 阅读 · 1 评论