hadoop
qi20088
这个作者很懒,什么都没留下…
展开
-
ZooKeeper典型应用场景一览
ZooKeeper典型应用场景一览摘自:http://www.cnblogs.com/tommyli/p/3766189.html原创 2016-07-08 16:17:03 · 198 阅读 · 0 评论 -
Hbase课程大纲学习路线
Hbase课程大纲学习内容:Hbase系统搭建与部署,Hbase shell操作;客户端API操作,包括put、get、delete方法以及批量处理操作与客户端缓存,HTable类与Bytes类的使用;比较过滤器、专用过滤器、附加过滤器、自定义过滤器的使用计数器的使用,协处理器(coprocessor类、regionobserver类、masterobserver类、endpo...原创 2015-10-21 18:49:29 · 847 阅读 · 0 评论 -
NoSQL选型及HBase案例详解(hbase结合情景案例分析)
摘自:http://www.thebigdata.cn/JieJueFangAn/6476.html原创 2015-10-21 18:55:15 · 204 阅读 · 0 评论 -
HBase总结(十二)Java API 与HBase交互实例
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.ha...原创 2015-10-21 18:57:06 · 108 阅读 · 0 评论 -
HBase优化案例分析:Facebook Messages系统问题与解决方案
摘自:http://www.infoq.com/cn/articles/hbase-casestudy-facebook-messages/原创 2015-10-21 18:58:40 · 96 阅读 · 0 评论 -
MapReduce程序开发(good)
http://blog.csdn.net/qq1010885678/article/details/51325813原创 2016-09-06 18:25:36 · 89 阅读 · 0 评论 -
Windows下使用Hadoop2.6.0-eclipse-plugin插件
Windows下使用Hadoop2.6.0-eclipse-plugin插件摘自:http://my.oschina.net/muou/blog/408543原创 2015-10-29 15:43:19 · 67 阅读 · 0 评论 -
Hadoop YARN常见问题以及解决方案 任务合理调度分配
摘自: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-problems-vs-solutions/原创 2015-11-03 14:46:03 · 443 阅读 · 0 评论 -
详细的讲解yarn和mapreduce的内存配置
摘自:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html原创 2015-11-03 17:00:15 · 152 阅读 · 0 评论 -
HBase处理中文字符串
摘自:http://blog.csdn.net/pirateleo/article/details/7957109Author:Pirate LeomyBlog: http://blog.csdn.net/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处,谢谢。文中可能涉及到的API:Hadoop/HDFS:ht...原创 2015-11-12 13:44:48 · 188 阅读 · 0 评论 -
大数据性能调优之HBase的RowKey设计
摘自;http://www.open-open.com/lib/view/open1417612091323.html1 概述HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一...原创 2015-11-12 13:47:26 · 76 阅读 · 0 评论 -
搜索技术博客-淘宝
搜索技术博客-淘宝: http://www.searchtb.com/原创 2015-12-10 18:33:06 · 106 阅读 · 0 评论 -
基于HBase的海量微博数据高效存储解析
通过分析HBase的特点,提出了一种基于HBase的海量微博数据高效存储方案。该方案通过建立合适的数据存储模型、预建Region,提出行关键字生成规则和跳过坏记录的方法,使得数据能够利用MapReduce模型高效且不间断地导入HBase数据库。实验结果表明,该方法能够提高海量数据导入HBase的效率。AD:【线下活动】三大新锐HTML 5企业汇聚51CTO—大话移动前端技术通过分析HBas...原创 2015-10-20 17:15:19 · 395 阅读 · 0 评论 -
Hadoop 2.0+YARN启动脚本分析与实战经验
start-all.sh脚本现在已经废弃,推荐使用start-dfs.sh和start-yarn.sh分别启动HDFS和YARN。在新一代的Hadoop里面HDFS称为了统一存储的平台,而YARN成为了统一计算的平台。(1)调用start-dfs.sh启动HDFS。之后JPS会出现NameNode,DataNode,SecondaryNameNode(2)调用start-yarn....原创 2015-10-16 23:38:06 · 105 阅读 · 0 评论 -
windows7+eclipse+hadoop2.5.2环境配置
http://www.dataguru.cn/thread-476946-1-1.htmlhttp://www.cnblogs.com/huligong1234/p/4137133.htmlhttps://my.oschina.net/vigiles/blog/132278原创 2015-10-11 23:45:44 · 60 阅读 · 0 评论 -
Hadoop集群(第6期)_WordCount运行详解
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html原创 2015-09-08 12:36:42 · 82 阅读 · 0 评论 -
zookeeper集群安装与配置
http://my.oschina.net/u/2377453/blog/464739# CS通信心跳时间,Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位tickTime=2000 # LF初始化通信时限,集群中的follower服务器(F)与leader服务器(L)之间初始...原创 2015-09-09 12:29:23 · 87 阅读 · 0 评论 -
zookeeper集群启动检查状态的问题记录
zk正常启动了。但输入 ./zkServer.sh status 查检状态时,如果出现Error contacting service. It is probably not running.错误,是因为节点只启动了一个,无法启动集群模式! 故再启用另一个集群的节点就可以了!...原创 2015-09-09 12:32:28 · 678 阅读 · 0 评论 -
Hadoop2的HA安装(high availability):JournalNode+ zookeeper - cloudkiller
http://www.tuicool.com/articles/JJVruuhttp://www.cnblogs.com/easycloud/p/3724908.html原创 2015-09-09 16:02:59 · 192 阅读 · 0 评论 -
HDFS之Qurom Journal Manager(QJM)实现机制分析
http://www.tuicool.com/articles/eIBB3a原创 2015-09-09 16:47:33 · 120 阅读 · 0 评论 -
hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
http://www.aboutyun.com/thread-7778-1-1.html原创 2015-09-09 18:25:12 · 72 阅读 · 0 评论 -
HBase案例设计分析
http://www.thebigdata.cn/JieJueFangAn/6476.html原创 2015-09-18 14:03:30 · 101 阅读 · 0 评论 -
hbase常识及habse适合什么场景
http://blog.csdn.net/lifuxiangcaohui/article/details/39894265原创 2015-09-18 14:15:36 · 124 阅读 · 0 评论 -
yarn 启动时,nodemanager 成功,但是resourcemanager失败解决
问题的描述; yarn 启动时,nodemanager 成功,但是resourcemanager失败.查看日记的出错信息:2015-10-11 21:50:20,201 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.Res...原创 2015-10-11 22:19:51 · 4563 阅读 · 0 评论 -
Hadoop 新 MapReduce 框架 Yarn 详解
摘自:http://www.open-open.com/lib/view/open1400054279692.html 原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架...原创 2015-10-11 23:08:42 · 91 阅读 · 0 评论 -
YARN ResourceManager调度器的分析
摘自:http://blogread.cn/it/article/6544?f=wbYARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器,探讨三种调度器的设计侧重,最后给出一些配置建议和参数解释。 本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如,CPU资源分配等特性在不就的将来就会加入。 为了...原创 2015-10-11 23:39:42 · 121 阅读 · 0 评论 -
Apache HBase 2015年发展回顾与未来展望
摘自: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=403219545&idx=1&sn=119613ae7d52de9c033b3ed0598bae6a&scene=23&srcid=0204yhgfxt9YDzVaHxKq6rfs#rd原创 2016-02-05 10:00:43 · 84 阅读 · 0 评论