- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 zookeeper java API 的使用
1 eclipse环境配置 普通的java项目 创建一个java项目 依赖的jar包 zookeeper-3.4.7\lib下的 jline-0.9.94.jar log4j-1.2.15.jar netty-3.2.2.Final.jar slf4j-api-1.6.1.jar slf4j-log4j12-1.6.1...
2018-07-31 20:13:00
556
原创 zookeeper集群配置
集群规划 主机名（hostname） 安装软件 运行进程 min1 zookeeper-3.4.7 QuorumPeerMain min2 zookeeper-3.4.7 QuorumPeerMain min3 zookeeper-3.4.7 QuorumPeerMain 安装步骤 在m...
2018-07-31 20:04:28
146
原创 zookeeper的概念
什么是zookeeper Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 zookeeper是为别的分布式程序服务的 Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） Zookeeper集群的角色： Leader 和 follower （Observer） zookeeper在底层...
2018-07-31 19:54:25
212
原创 HDFS的java api使用
1.2 HDFS控制（Java）hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中，这些api能够支持的操作包含：打开文件，读写文件，删除文件等。FileSystem，该类是个抽象类，只能通过来类的get方法得到具体类。get方法存在几个重载版本，常用的是这个：static FileSystem get(Configuration conf); ...
2018-07-31 19:39:13
436
原创 HDFS的概念
1.1 HDFS的介绍 源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 ，HDFS的全称是Hadoop Distributed File System易于扩展的分布式文件系统，运行在大量普通廉价机器上，提供容错机制，为大量用户提供性能不错的文件存取服务 。1.2 HDFS设计目标 自动快速检测应对硬件错误 流式访问数据 移动计算比...
2018-07-31 19:24:58
915
原创 hadoop分布式集群搭建
一、分布式集群搭建1.HADOOP集群规划2.HADOOP集群安装步骤1.准备三台Centos6.7 64bit虚拟机，虚拟机名分别为：Centos6.7_min1Centos6.7_min2Centos6.7_min3注意 三台机器使用root用户登陆系统2.分别修改虚拟机的主机名（hostname）分别在机器中执行修改hostname命令（需要重启）...
2018-07-31 19:12:02
177
原创 Hadoop集群安装，三种
Linux环境设置/*安装Hadoop集群时要确保以下几个方面1.本机与虚拟机之间是否可以通信（Ping）。如果不行检查下面 1.1本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机） 1.2虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法） 1.3虚拟机设置--网卡是否是仅主机模式或者桥接模式：仅主机模式需要检查...
2018-07-31 19:08:05
370
原创 Hadoop是什么？基本概念
1.1 什么是HADOOPApache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块：Hadoop Common：支持其他Hadoop模块的常用工具。Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。...
2018-07-31 19:01:55
11987
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人