hadoop
文章平均质量分 95
枫叶的记忆
勤奋 欣赏 包容 感恩
展开
-
hadoop2.4.0+zooker3.4.5+hbase0.98.9分布式集群搭建
一、下载需要的工具包jdk-7u67-linux-x64.tar.gz,apache-maven-3.0.5-bin.tar.gz,cmake-2.8.12.1.tar.gz,hadoop-2.4.0.tar.gz,protobuf-2.5.0.tar.gz,hbase-0.98.9-hadoop2-bin.tar.gz,zookeeper-3.4.5.tar.gz二、linux基础环原创 2015-01-29 23:22:15 · 1221 阅读 · 0 评论 -
linux下hadoop 2.4的编译安装.
1.下载需要的工具包jdk-7u5-linux-i586.gz,apache-maven-3.0.5-bin.tar.gz,cmake-2.8.12.1.tar.gz,hadoop-2.4.0.tar.gz,protobuf-2.5.0.tar.gz,zlib127.zip(如果机器已经安装了zlib或gzip即可不用安装)2.安装工具(1)安装JDK进入jdk的tar包目原创 2015-01-18 00:58:51 · 449 阅读 · 0 评论 -
hadoop的HDFS部分配置说明
1. Core-site.xml配置说明(文件所在目录:${Hadoop_Home}/etc/hadoop/)(1) 配置namdenode节点URIfs.defaultFShdfs://bigdata1:8020(2) 设置回收站默认trash功能没有启动,生产环境中最好可以把他起来,以恢复误删数据。启用回收站后,用户删除的目录和文件会移到自己家目录下原创 2015-01-22 23:26:58 · 892 阅读 · 0 评论 -
Hadoop的MapReduce中多文件输出
My_LineRead.java[java] view plaincopypublic class My_LineRead extends RecordWriter{ private static final String utf8 = "UTF-8"; private static final转载 2015-01-22 23:32:04 · 473 阅读 · 0 评论 -
linux下修改文件权限、切换用户、添加文本、修改文本、hadoop执行jar文件等常用命令
1.修改文件权限chown -R hadoop hdfs1.jarchgrp -R hadoop hdfs1.jar2.查看文件权限ll3.切换用户su - hadoop4.添加文本touch word.txt5.修改文本gedit word.txt6.执行jar文件hadoop jar hdfs1.jar com.ailk.security.had原创 2015-01-18 17:16:25 · 2181 阅读 · 0 评论 -
zookeeper原理
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee转载 2015-08-05 21:56:22 · 335 阅读 · 0 评论 -
HDFS ACL操作实战
HDFS的文件ACL(Access Control Lists),类似于POSIX ACL(Linux使用ACL来管理文件权限)。首先参数上要开启基本权限和访问控制列表功能,在CDH 5.2中,默认的参数dfs.namenode.acls.enabled为false。12345678 dfs.permissions.enabled true dfs.namenod转载 2017-04-27 14:35:36 · 2851 阅读 · 0 评论 -
kerberos认证原理---讲的非常细致,易懂
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候,讲了半天也别把那位老兄讲明白,还差点把自己给绕进去。后来想想原因有以下两点:对于一个没有完全不了解Kerberos的人来说,Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密,确实很容易把人给弄晕;另一方面是我讲解方式有问题转载 2017-09-01 10:19:50 · 345 阅读 · 0 评论