大数据
天道酬勤厚积薄发
不懈的努力是迈向成功最坚实可靠的途径。
展开
-
ODPS技术架构及应用实践
作者: 张云远,李妹芳 来源: CSDN 发布时间: 2014-10-22 07:32 阅读: 8261 次 推荐: 5 原文链接 [收藏] 摘要:ODPS是分布式的海量数据处理平台,提供了丰富的数据处理功能和灵活的编程框架。本文从ODPS面临的挑战、技术架构、Hadoop迁移到ODPS、应用实践注意点等方面带领我们初步了解了ODPS的现状与前景。转载 2016-09-18 16:40:16 · 510 阅读 · 0 评论 -
hbase权限管理
HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true,以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. access.AccessController来提供安全管控能力。转载 2016-10-10 15:30:30 · 7764 阅读 · 2 评论 -
HBase最佳实践网易视频云--内存规划
问题导读1.本文hbase是如何规划内存的?2.写多读少型 + LRUBlockCache 内存规划思路是什么?3.读多写少型 + BucketCache 内存你认为内存该如何规划?网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、转载 2016-10-10 18:00:37 · 843 阅读 · 0 评论 -
Hive SQL 编译过程详解
Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在 几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为 MapReduce的过转载 2016-10-12 18:31:20 · 576 阅读 · 0 评论 -
oozie使用中的一些小结
关于oozie 寻找包寻找位置原则: oozie在运行的时候 只会去两个地方寻找自己需要的lib 1 回去当前提交任务的workflow所在的hdfs目录下的lib下寻找 eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录转载 2016-10-12 18:32:06 · 2920 阅读 · 0 评论 -
跟我一起学 Hadoop YARN
Hadoop 2.0的本质 很多人提到Hadoop首先想到的是Map/Reduce,其实从2.0开始Hadoop已经从单纯的分布式M/R计算框架变成了 通用分布式框架 。 上图是Hadoop2.0的技术栈,在Hadoop 2.0中Hadoop底层划分为YARN和HDFS两个部分。YARN提供了集群资源管理,HDFS提供了分布式存储。在此之上开发出来的应用被称为 Appl转载 2016-10-13 09:02:50 · 900 阅读 · 1 评论 -
一程序员在阿里HBase团队的所感所悟
2013/08/18阅读 9.9k 评论 1收藏 0再不改变,你就老了。用加薪后的2天薪资来投资自己,做个优秀的产品经理 开始改变!“committer为开源社区的一个光荣和义务的职务。拥有对某项目拥有直接提交代码、代码审核与提交、投票否决代码、参加核心会议、决定项目未来走势、加入committer邮件列表等多个重要权利。”“hadoop社区的committer主要转载 2016-10-08 18:25:36 · 2991 阅读 · 1 评论