大数据学习
文章平均质量分 67
a_victory
这个作者很懒,什么都没留下…
展开
-
CentOS下安装Hadoop伪分布集群踏坑之路
1.hadoop/etc/hadoop下的配置文件core-site.xmlfs.defaultFShdfs://master:9000io.file.buffer.size131072hadoop.tmp.dirfile:/usr/hadoop/tempAbase for other temporary directories.原创 2016-12-02 17:54:26 · 480 阅读 · 1 评论 -
CentOS上配置ssh区别于ubuntu的地方
1,Ubuntu与CentOs在部署hadoop的区别使用Ubuntu,只需要ssh-keygen -t dsa -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys在centos下,仅仅上述操作是不行的,还需要如下步骤:sudo vi /etc/ssh/sshd_configRSAAuthe原创 2016-12-05 17:34:21 · 394 阅读 · 0 评论 -
zookeeper
(一)Zookeeper基础知识、体系结构、数据模型1 ZooKeeper 是一个高可用的分布式数据管理不系统协调框架。基于对 Paxos 算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得 ZooKeeper 解决很多分布式问题。zookeeper是一个类似hdfs的树形文件结构,zookeeper可以用来保证数据在(zk)集群之间的数据的事务性一致、原创 2016-12-14 16:28:12 · 400 阅读 · 0 评论 -
hadoop学习笔记(一)
Hadoop之FileSystem文件的操作//读数据 Hadoop中的IOUtils类的两个静态方法: 1)IOUtils.copyBytes(),其中in表示拷贝源,System.out表示拷贝目的地(也就是要拷贝到标准输出中去),4096表示用来拷贝的buffer大小,false表明拷贝完成后我们并不关闭拷贝源可拷贝目的地(因为System.out并不需要关闭,in可以在finally语转载 2017-03-23 11:53:08 · 823 阅读 · 0 评论