hadoop生态系统
呼噜娃娃
生活没有偶然
展开
-
HBase的结构和操作心得
首先我们需要明确一个重要的概念,mapreduce任务往往至少要几秒的时间,而对于小规模的查询,mysql瞬间就可以完成查询操作,对于大规模的查询,使用像hbase这样的数据库才能体现出价值。 hbase的数据存储在hdfs之上,因此我们在使用hbase的时候,首先就是要启动hadoop,另外,hbase的协调管理是通过zookeeper来完成,因此,hbase的启动离不开zookeeper,z原创 2016-10-09 16:11:19 · 1193 阅读 · 0 评论 -
storm集群的安装
1. 启动zookeeper集群,参考地址:http://blog.csdn.net/u012749168/article/details/52705164 2. 解压包storm,配置conf目录下的storm.yaml文件 a) 这里配置zookeeper节点,可以用ip或者域名 storm.zookeeper.servers: -"slav原创 2016-10-19 19:29:34 · 190 阅读 · 0 评论 -
hadoop完全分布式搭建
1、安装jdk和hadoop 在slave-01上安装并配置,这个就不说了,比较简单,下载jdk,hadoop,解压tar -zxf filename,修改/etc/profile文件,添加 export JAVA_HOME=filepath export HADOOP_HOME=filepath export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PAT原创 2016-09-29 21:24:32 · 314 阅读 · 0 评论 -
hadoop的streaming学习小结
参考;hadoop实战 hadoop程序都是java写的,不过hadoop也支持用其他语言来编程,需要用到Streaming的通用API。主要用于编写简单、短小得到mapreduce程序,他可以通过脚本语言,开发更加便捷,并能够充分利用非java库。streaming使用unix中的流与程序进行交互,从stdin输入数据,输出到stdout。数据必须为文本且每行被视为一个记录。streaming原创 2016-10-14 12:57:00 · 837 阅读 · 0 评论 -
hadoop2.x—mapreduce实战和总结
在eclipse上编写程序,运行在hadoop上。网上很多的例子都是1.x的mr代码,而1.x的代码和2.x的代码是有些区别的。在hadoop官网上可以下载到hadoop的源码包,源码包里面有很多的源代码,hadoop安装包里面的都是些jar文件,jar可以执行,但是无法看里面的源码。接下来详细分析两个案例的代码,并附带个人的hadoop学习总结与大家分享,希望大家给点意见。一个是hadoop源码原创 2016-10-13 19:09:14 · 4058 阅读 · 1 评论 -
zookeeper学习小结
zookeeper简单介绍 C一致性A可用性P分区容忍性|三者不可兼得 1保证最终一致性,区别实时一致性 2 可靠性,一台接收,所有接收 3 原子性, 没有中间状态,只能成功或者失败 4 顺序性, 所有server同一消息发布顺序一致 工作原理 1.server在内存中存储了一份数据 2.启动时,自己选举出一个leader(Paxos算法) 3.leader负责处原创 2016-09-28 13:01:37 · 510 阅读 · 0 评论 -
伪分布模式搭建hadoop
伪分布模式搭建hadoop,作为练习使用即可 1 免密码ssh登陆 ssh-keygen-t rsa,默认在家目录下的.ssh文件夹下面生成一个id_rsa.pub cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 注意必须都放到.ssh文件夹下面 2 四个配置文件修改 core-site.xml原创 2016-09-26 19:20:32 · 391 阅读 · 0 评论 -
zookeeper学习心得
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等 角色 领导者leader负责进行投票的发起和决议,更新系统状态 跟随者follower用于接收客请求并向客户端返回结果,参与选举投票 观察者observer不参与投票过程,只同步leader状态。为了扩展系统,提高读取速度。 客户端cli原创 2016-10-10 20:47:01 · 1661 阅读 · 0 评论 -
企业级三大hadoop-Cloudera、Hortonworks和MapR
转载地址: http://wenku.baidu.com/link?url=x9xRWvuZuUMFKgN9McNY4DSAGXCi3dlUFMtnDE-Lg39_VeOUgUkm9L_1M4g1JID6vtVxO8jfvizkmZADdlpuEOo5ICEF_M92Eo9uB2fhmE_ http://business.sohu.com/20160919/n468669356.shtml转载 2016-10-09 21:05:17 · 9424 阅读 · 1 评论 -
hadoop新MapReduce框架yarn学习笔记
参考资料:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 《hadoop技术内幕:深入解析yarn架构设计与实现原理》 首先需要明确的是,hadoop1.x上有五个进程,NameNode,SeconaryNameNode,TaskTracker,DataNode,JobTracker五个进程。ha原创 2016-10-10 10:47:56 · 336 阅读 · 0 评论 -
hbase完全分布式安装
第一步:安装hadoop和zookeeper,参照前面写的关于hadoop和zookeeper的安装并启动。 第二步:解压hbase-1.1.3,并配置相关的文件 hbase-env.sh export JAVA_HOME=/root/jdk1.8.0_91 #hbase是自带zookeeper的,如果是true则用hbase自身的zookeeper,原创 2016-10-08 15:06:34 · 351 阅读 · 0 评论