Hadoop
文章平均质量分 72
飞翔的光盘
这个作者很懒,什么都没留下…
展开
-
Hadoop2.6.4HA集群搭建
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译(建议第一次安装用32位的系统,我将编译好的...转载 2018-07-20 18:54:36 · 195 阅读 · 0 评论 -
HDFS案例——开发shell采集脚本
需求说明点击流日志每天都10T,在业务应用服务器上,需要准实时上传至数据仓库(Hadoop HDFS)上需求分析一般上传文件都是在凌晨24点操作,由于很多种类的业务数据都要在晚上进行传输,为了减轻服务器的压力,避开高峰期。如果需要伪实时的上传,则采用定时上传的方式 技术分析 HDFS SHELL: hadoop fs –put x...转载 2018-07-21 11:27:12 · 719 阅读 · 0 评论 -
集群的时间同步
集群的时间同步:1、date -s ''2、ntpdate配置时间服务器:选定hadoop01做为时间服务器1、在hadoop01上安装ntp(ntpdate)2、设置ntpvi /etc/ntp.confrestrict 192.168.137.0 mask 255.255.255.0 nomodify notrap注释掉4条公网的服务:#server 0.centos...转载 2018-07-21 15:15:17 · 198 阅读 · 0 评论