hadoop
文章平均质量分 82
ywill3
这个作者很懒,什么都没留下…
展开
-
用eclipse远程连接hadoop-2.6.0
所有需要的文件都在这:hadoop 提取码:j6zx 1.下载eclipse(或者用我传的压缩包) 下载解压后将hadoop-eclipse-plugin-2.6.0.jar放在eclipse目录的plugins目录下 2.下载hadoop-2.6.0,并解压 3.将下载下来的bin目录的路径设置一个环境变量 新建一个环境变量名为HADOOP_HOME,值为该bin目录的路径原创 2016-12-05 21:55:33 · 812 阅读 · 1 评论 -
hadoop - chapter 1
一.分布式1.分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起,实现同一业务。2.分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。二.cap理论C(Consistency一致性):所有的节点上的数据时刻保持同步A(Availability可用性):每个请求都能接受到一个响应,无论响应成功或失败P(Partition tol原创 2017-03-06 14:31:13 · 390 阅读 · 0 评论 -
hadoop-chapter 2
一.namenode->可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等1.管理文件系统文件的元数据信息(包括文件名称、大小、位置、属性、创建时间、修改时间等等)2.维护文件到块的对应关系和块到节点的对应关系3.维护用户对文件的操作信息(文件的增删改查)4.利用fsimage和edits对元数据进行管理二.datanode->是文件存储的基本单元,它将原创 2017-03-06 18:03:21 · 553 阅读 · 0 评论 -
基于hadoop2.6.0的hive-1.2.1安装
1.安装环境:有一个完全分布式的Hadoop-2.6.0。2.安装准备:需要在网上下一个Hive的压缩包,我这儿用的是apache-hive-1.2.1-bin.tar.gz。下载地址here3.将下载下来的hive压缩包解压,并更改用户权限。我的解压在/usr/localsudo tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/localsudo c原创 2017-03-31 10:09:31 · 1204 阅读 · 0 评论 -
基于hadoop-2.6.0的hbase完全分布式安装
1.安装环境:有一个完全分布式的hadoop-2.6.0。 2.安装准备:需要在网上下一个hbase的压缩包,我这儿用的是hbase-1.0.3-bin.tar.gz,下载地址here 3.解压下载好的hbase到一个目录下,并更改用户及用户组(我这儿用的是persistence用户启动hadoop和hbase的)。sudo tar -zxvf hbase-1.0.3-bin.tar.gz -C原创 2017-03-26 16:13:33 · 1342 阅读 · 0 评论 -
hadoop 2.6.0完全分布式安装
1.安装安装前准备:装有openssh server的ubuntu14.04 系统三台(也可以准备1台,后面进行虚拟机的克隆,或者导入导出)。这儿需要三台机器在同一个网段内。开始安装1)启动三台虚拟机,分别修改主机名sudo vim /etc/hostname分别命名为: HadoopMaster HadoopSlave1 HadoopSlave2ps:重启后生效2)安装jdk(3台机器一样的原创 2016-12-03 22:50:45 · 1107 阅读 · 1 评论 -
zookeeper-3.4.6的安装和简单使用
一,zookeeper简介 zookeeper主要为分布式程序提供协调服务的,解决一致性等问题。如分布式中的高可用中的主节点的选择,CS架构中,有多台服务器,客户端对服务器的选择等应用场景。 zookeeper的主要角色是leader和follower,一个时间,只有一个leader,其余节点是follower,leader靠Paxos算法投票得出。 zookeeper主要使用的算法是Pa原创 2017-08-28 12:13:27 · 8392 阅读 · 0 评论