- 博客(9)
- 资源 (1)
- 收藏
- 关注
原创 zookeeper java API 的使用
1 eclipse环境配置 普通的java项目 创建一个java项目 依赖的jar包 zookeeper-3.4.7\lib下的 jline-0.9.94.jar log4j-1.2.15.jar netty-3.2.2.Final.jar slf4j-api-1.6.1.jar slf4j-log4j12-1.6.1...
2018-07-31 20:13:00 556
原创 zookeeper集群配置
集群规划 主机名(hostname) 安装软件 运行进程 min1 zookeeper-3.4.7 QuorumPeerMain min2 zookeeper-3.4.7 QuorumPeerMain min3 zookeeper-3.4.7 QuorumPeerMain 安装步骤 在m...
2018-07-31 20:04:28 146
原创 zookeeper的概念
什么是zookeeper Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 zookeeper是为别的分布式程序服务的 Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) Zookeeper集群的角色: Leader 和 follower (Observer) zookeeper在底层...
2018-07-31 19:54:25 212
原创 HDFS的java api使用
1.2 HDFS控制(Java)hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中,这些api能够支持的操作包含:打开文件,读写文件,删除文件等。FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个:static FileSystem get(Configuration conf); ...
2018-07-31 19:39:13 436
原创 HDFS的概念
1.1 HDFS的介绍 源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统,运行在大量普通廉价机器上,提供容错机制,为大量用户提供性能不错的文件存取服务 。1.2 HDFS设计目标 自动快速检测应对硬件错误 流式访问数据 移动计算比...
2018-07-31 19:24:58 915
原创 hadoop分布式集群搭建
一、分布式集群搭建1.HADOOP集群规划2.HADOOP集群安装步骤1.准备三台Centos6.7 64bit虚拟机,虚拟机名分别为:Centos6.7_min1Centos6.7_min2Centos6.7_min3注意 三台机器使用root用户登陆系统2.分别修改虚拟机的主机名(hostname)分别在机器中执行修改hostname命令(需要重启)...
2018-07-31 19:12:02 177
原创 Hadoop集群安装,三种
Linux环境设置/*安装Hadoop集群时要确保以下几个方面1.本机与虚拟机之间是否可以通信(Ping)。如果不行检查下面 1.1本机防火墙关闭(开启情况是本机可以ping虚拟机,虚拟机不能ping本机) 1.2虚拟机是克隆的情况(按照Linux文档中,修改ip地址等方法) 1.3虚拟机设置--网卡是否是仅主机模式或者桥接模式:仅主机模式需要检查...
2018-07-31 19:08:05 370
原创 Hadoop是什么?基本概念
1.1 什么是HADOOPApache Hadoop 为可靠的,可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集(海量的数据)。包括这些模块:Hadoop Common:支持其他Hadoop模块的常用工具。Hadoop分布式文件系统(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。...
2018-07-31 19:01:55 11987
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人