Ambari技术
创建、管理、监视 Hadoop 整个生态圈 Hive,Hbase,Sqoop,Zookeeper 等
一路追寻
这个作者很懒,什么都没留下…
展开
-
Hadoop HDFS
转载:http://www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351.htmlHDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的转载 2017-01-11 16:50:13 · 418 阅读 · 0 评论 -
NoSql 分析 hbase,mongodb,redis
不严谨地讲,Redis定位在”快”,HBase定位于”大”,mongodb定位在”灵活”。 NoSQL的优点正好就是SQL的软肋,而其弱点正好也就是SQL的杀手锏最大区别在于,在一般使用情况下,mongodb可以当作简单场景下的但是性能高数倍的MySQL, Redis基本只会用来做缓存,HBase用来做离线计算Hbase,MongoDB,Redis都属于nosql型存储方案。在实际的项目实践上看,他转载 2017-02-10 10:37:35 · 674 阅读 · 0 评论 -
Hbase+Zookeeper配置与安装
摘要: Hbase+Zookeeper配置与安装hbase1、解压并且安装zookeeper,参考:http://my.oschina.net/u/2377453/blog/4647392、解压hbase、配置HBASE_HOME3、修改$HBASE_HOME/conf/hbase-env.sh文件://指定JDK路径export JAVA_HOME=/usr/java/jdk1.7.0_55/转载 2017-08-23 10:40:36 · 1682 阅读 · 0 评论 -
Xshell Hadoop Zookeeper Hbase笔记
Xshell 多会话同步操作启动服务/opt/hadoop-2.7.2/sbin/start-all.sh [M ]/opt/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver [M ]/opt/zookeeper-3.4.6/bin/zkServer.sh原创 2017-08-30 14:26:28 · 780 阅读 · 0 评论 -
kafka学习笔记:知识点整理
kafka学习笔记:知识点整理 一、为什么需要消息系统1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完转载 2017-10-11 08:22:23 · 318 阅读 · 0 评论 -
清理ambari安装的hadoop集群
本文针对redhat或者centos对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群。对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX2,关闭ambari-server,ambari-agent转载 2017-11-01 17:33:53 · 540 阅读 · 0 评论 -
Ambari DataNode Start Failure
解决方法参考 https://stackoverflow.com/questions/22300487/filed-to-start-data-node-in-hadoop-cluster2 down vote accepted Have you confirmed that your root filesystem is not set to 777 permissions?This sh原创 2017-11-13 10:27:34 · 789 阅读 · 0 评论 -
Ambari2.5.3卸载smartsense
Ambari2.5.3卸载smartsense启动后发现会有一个SmartSence服务,并且一直是启动不成功。查看错误显示 【Please configure a vaid SmartSense ID to proceed.】SmartSence是 HORTONWORKS 公司的一款增值服务产品,为hadoop集群提供指导帮助,SmartSence是无法像Ambari转载 2017-11-13 17:50:47 · 5779 阅读 · 0 评论