![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop生态系统
呼噜娃娃
生活没有偶然
展开
-
HBase的结构和操作心得
首先我们需要明确一个重要的概念,mapreduce任务往往至少要几秒的时间,而对于小规模的查询,mysql瞬间就可以完成查询操作,对于大规模的查询,使用像hbase这样的数据库才能体现出价值。hbase的数据存储在hdfs之上,因此我们在使用hbase的时候,首先就是要启动hadoop,另外,hbase的协调管理是通过zookeeper来完成,因此,hbase的启动离不开zookeeper,z原创 2016-10-09 16:11:19 · 1192 阅读 · 0 评论 -
storm集群的安装
1. 启动zookeeper集群,参考地址:http://blog.csdn.net/u012749168/article/details/527051642. 解压包storm,配置conf目录下的storm.yaml文件a) 这里配置zookeeper节点,可以用ip或者域名storm.zookeeper.servers: -"slav原创 2016-10-19 19:29:34 · 190 阅读 · 0 评论 -
hadoop完全分布式搭建
1、安装jdk和hadoop在slave-01上安装并配置,这个就不说了,比较简单,下载jdk,hadoop,解压tar -zxf filename,修改/etc/profile文件,添加export JAVA_HOME=filepathexport HADOOP_HOME=filepathexport PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PAT原创 2016-09-29 21:24:32 · 313 阅读 · 0 评论 -
hadoop的streaming学习小结
参考;hadoop实战hadoop程序都是java写的,不过hadoop也支持用其他语言来编程,需要用到Streaming的通用API。主要用于编写简单、短小得到mapreduce程序,他可以通过脚本语言,开发更加便捷,并能够充分利用非java库。streaming使用unix中的流与程序进行交互,从stdin输入数据,输出到stdout。数据必须为文本且每行被视为一个记录。streaming原创 2016-10-14 12:57:00 · 835 阅读 · 0 评论 -
hadoop2.x—mapreduce实战和总结
在eclipse上编写程序,运行在hadoop上。网上很多的例子都是1.x的mr代码,而1.x的代码和2.x的代码是有些区别的。在hadoop官网上可以下载到hadoop的源码包,源码包里面有很多的源代码,hadoop安装包里面的都是些jar文件,jar可以执行,但是无法看里面的源码。接下来详细分析两个案例的代码,并附带个人的hadoop学习总结与大家分享,希望大家给点意见。一个是hadoop源码原创 2016-10-13 19:09:14 · 4048 阅读 · 1 评论 -
zookeeper学习小结
zookeeper简单介绍C一致性A可用性P分区容忍性|三者不可兼得1保证最终一致性,区别实时一致性2 可靠性,一台接收,所有接收3 原子性, 没有中间状态,只能成功或者失败4 顺序性, 所有server同一消息发布顺序一致工作原理1.server在内存中存储了一份数据2.启动时,自己选举出一个leader(Paxos算法)3.leader负责处原创 2016-09-28 13:01:37 · 506 阅读 · 0 评论 -
伪分布模式搭建hadoop
伪分布模式搭建hadoop,作为练习使用即可1 免密码ssh登陆 ssh-keygen-t rsa,默认在家目录下的.ssh文件夹下面生成一个id_rsa.pub cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 注意必须都放到.ssh文件夹下面2 四个配置文件修改core-site.xml原创 2016-09-26 19:20:32 · 388 阅读 · 0 评论 -
zookeeper学习心得
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等角色领导者leader负责进行投票的发起和决议,更新系统状态跟随者follower用于接收客请求并向客户端返回结果,参与选举投票观察者observer不参与投票过程,只同步leader状态。为了扩展系统,提高读取速度。客户端cli原创 2016-10-10 20:47:01 · 1660 阅读 · 0 评论 -
企业级三大hadoop-Cloudera、Hortonworks和MapR
转载地址:http://wenku.baidu.com/link?url=x9xRWvuZuUMFKgN9McNY4DSAGXCi3dlUFMtnDE-Lg39_VeOUgUkm9L_1M4g1JID6vtVxO8jfvizkmZADdlpuEOo5ICEF_M92Eo9uB2fhmE_http://business.sohu.com/20160919/n468669356.shtml转载 2016-10-09 21:05:17 · 9416 阅读 · 1 评论 -
hadoop新MapReduce框架yarn学习笔记
参考资料:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 《hadoop技术内幕:深入解析yarn架构设计与实现原理》首先需要明确的是,hadoop1.x上有五个进程,NameNode,SeconaryNameNode,TaskTracker,DataNode,JobTracker五个进程。ha原创 2016-10-10 10:47:56 · 335 阅读 · 0 评论 -
hbase完全分布式安装
第一步:安装hadoop和zookeeper,参照前面写的关于hadoop和zookeeper的安装并启动。第二步:解压hbase-1.1.3,并配置相关的文件hbase-env.sh export JAVA_HOME=/root/jdk1.8.0_91 #hbase是自带zookeeper的,如果是true则用hbase自身的zookeeper,原创 2016-10-08 15:06:34 · 351 阅读 · 0 评论