大数据
大数据---从hadoop开始
zaiou
java
展开
-
hadoop(七)、Zookeeper实现分布式应用系统服务器上下线动态感知
需求:客户端能够实时监控到服务器上下线的变化实现:1、服务端启动的时候去zk注册临时序列化节点2、客户端启动去getChildren获取子节点,并监听节点的动态变化3、客户端process中根据服务端上下线的动态变化实时监听,获取最新服务端情况参考文档:https://blog.csdn.net/cckevincyh/article/details/80730081...原创 2019-03-18 09:55:14 · 221 阅读 · 0 评论 -
hadoop(六)、linux环境部署zookeeper
参考文档:https://www.cnblogs.com/wrong5566/p/6056788.html补充:1)配置文件zoo.cfg中:server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端...原创 2019-03-14 11:21:41 · 117 阅读 · 0 评论 -
hadoop(五)、zookeeper相关功能及原理
一、zookeeper概念简介Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的B、zoopkeeper本身就是一个分布式程序(只要半数以上节点存活,zk就能正常服务)C、zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等…D、虽然说可以提供各种服务,但是...原创 2019-03-13 14:42:16 · 311 阅读 · 0 评论 -
hadoop(四)、MapperReduce入门Wordcount案例
WordCount程序分为三个部分,,当然在计算模型里面只有mapper任务和reduce任务,这里我们加入一个驱动程序即Runner类。(1)WorkCountMapper的代码package com.zaiou.hadoop.MrWordCount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io....原创 2019-03-11 11:20:22 · 353 阅读 · 0 评论 -
hadoop(三)、Java操作HDFS开发环境搭建以及HDFS的读写流程
参考文档:https://blog.51cto.com/zero01/2090901转载 2019-03-05 10:21:17 · 277 阅读 · 0 评论 -
hadoop(二)、HDFS基本命令的使用
hadoop fs -ls [hdfs目录] 显示当前目录结构,-ls -R 递归显示目录结构hadoop fs -put [文件] [hdfs目录] 从本地加载文件到HDFShadoop fs -cat [hdfs目录下文件] 查看hdfs文件详情hadoop fs -get [hdfs文件] [本地目录] 从HDFS导出文件到本地,默认到当前文件夹hadoop fs ...原创 2019-03-04 17:18:11 · 285 阅读 · 0 评论 -
hadoop(二)、CentOS7搭建Hadoop3.0.3完全分布式集群
参考文档:https://www.cnblogs.com/frankdeng/p/9047698.html注:修改部分slaves 文件已经被换名为 workers转载 2018-12-17 16:32:01 · 284 阅读 · 0 评论 -
hadoop(一)、Linux之CentOS7.5安装及克隆
添加普通用户hadoopuseradd hadooppasswd hadoop给hadoop用户sudo权限chmod u+w /etc/sudoersvi /etc/sudoers添加hadoop ALL=(ALL) ALL或者hadoop ALL=(root) NOPASSWD:ALL切换到hadoop用户su - hadoop安装到/home/hadoop/hadoo...原创 2018-12-11 16:15:05 · 503 阅读 · 0 评论