Hadoop
文章平均质量分 76
xuefeng0707
这个作者很懒,什么都没留下…
展开
-
hadoop搭建
下载hadoop-1.0.3验证ssh>which ssh>which sshd>which ssh-keygen生成ssh密钥对>ssh-kengen -t rsa查看ssh公钥>more /home/hadoopadmin/.ssh/id_rsa.pub (hadoopadmin是ubuntu用户名)将公钥复制到主节点及各个从节点>scp ~/.ssh/原创 2012-12-08 21:37:41 · 1128 阅读 · 0 评论 -
HDFS操作
HDFS基本命令:hadoop fs -cmd cmd: 具体的操作,基本上与UNIX的命令行相同args:参数HDFS资源URI格式:scheme://authority/pathscheme:协议名,file或hdfsauthority:namenode主机名path:路径示例:hdfs://localhost:9000/user/chunk/test.tx原创 2012-12-09 00:50:06 · 8697 阅读 · 0 评论 -
HDFS读和写
hadoop处理的输入数据通常很大,以GB或TB计。hadoop将大文件分割为多个块(分片、Input split),分别存在多个机器上。这样,当需要分析此大文件时,MapReduce程序在多台机器上并行处理。分片不能太大,如果所有数据在一个分片内,那就无法并行处理;分片不能太小,启动和停止每个分片也需要消耗时间。HDFS使用FSDataInputStream读取文件,提供了随机读功能原创 2012-12-17 22:24:58 · 856 阅读 · 0 评论 -
编译hadoop2.2.0源代码时报错
编译hadoop2.2.0源代码时,mvn install -DskipTests报错:[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] /home/test/work/env/hadoop/hadoop-2.2.0-sr原创 2014-07-02 01:02:05 · 2224 阅读 · 0 评论 -
ZooKeeper启动过程2:FastLeaderElection
前一篇文章中说到,启动ZooKeeper集群时,需要分别启动集群中的各个节点,各节点以QuorumPeer的形式启动,最后到达startLeaderElection和lookForLeader。先说startLeaderElection首先,初始化节点自身的currentVote【当前投票】为【myid、zxid、currentEpoch】然后,初始化选举算法createElectio原创 2014-11-01 23:02:54 · 1782 阅读 · 0 评论 -
ZooKeeper启动过程
Zookeeper 启动 FastLeaderElection原创 2014-10-31 22:55:48 · 9052 阅读 · 0 评论