- 博客(58)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 ZH奶酪：编程语言入门经典100例【Python版】
无论学习哪门计算机语言，只要把100例中绝大部分题目都做一遍，就基本掌握该语言的语法了。【程序1】题目：有1、2、3、4个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？#Filename:001.pycnt = 0#count the sum of resultfor i in range(1,5): for j in range(1,5):
2015-07-11 14:36:39
1300
转载 hive大数据倾斜总结
关键词情形后果Join其中一个表较小，但是key集中分发到某一个或几个Reduce上的数据远高于平均值大表与大表，但是分桶的判断字段0值或空值过多这些空值都由一个reduce处理，灰常慢group bygroup by 维度过小，某值的数量过多处理
2015-03-22 22:46:15
2047
原创 hive优化之------控制hive任务中的map数和reduce数
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有
2015-03-22 22:26:22
559
转载 java对redis的基本操作
一、server端安装 1、下载 https://github.com/MSOpenTech/redis 可看到当前可下载版本：redis2.6 下载windows平台文件： 解压后，选择当前64位win7系统对应的版本： 2、安装 1）解
2015-03-21 17:34:26
1484
转载 Java开发中的23种设计模式详解(转)
设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真
2015-01-07 21:30:36
658
转载 java虚拟机VM运行时数据区域
看到了一篇好文章，和大家分享一下。java 在VM运行时数据存储的区域JVM执行Java程序的过程中，会使用到各种数据区域，这些区域有各自的用途、创建和销毁时间。根据《Java虚拟机规范（第二版）》（下文称VM Spec）的规定，JVM包括下列几个运行时数据区域：1.程序计数器（Program Counter Register）：每一个Java线程都有一个程序计数器来用于保
2015-01-07 00:03:02
782
转载 2014年终研发工程师工作总结【转】
总想写点什么，这东西其实在给人力的excel有，但是为啥还要写呢。一是感觉那个版本写的总有点束缚；二是作为一个年末的工作总结，这里不只是技术，更多的工作的环节问题，不管对不对，都是自己的感悟。工作中沟通：先说和领导的沟通，往年的工作经验我和领导的关系可以算作朋友，话说我还做过领导的家人还有同事车去鸟巢看国际田径比赛，可以说是关系很好的那种，跟其他部门的领导也是。但是什么都有不同，不
2014-12-26 17:35:10
2794
1
转载 Hadoop——Hadoop Yarn
Hadoop Yarn 简介Hadoop Yarn是Hadoop0.23的资源管理系统，Hadoop0.23对Hadoop的架构进行了重大改造，将MapReduce编程模型与运行时系统解耦，即MRv2与Yarn，Yarn负责资源管理，管理资源目前仅包括memory，另一方面Yarn为MapReduce提供运行时环境。新版的MapReduce MRv2成为类似library的存在，MRv
2014-11-25 14:45:41
1205
转载 hbase两个典型应用实例
本文介绍hbase的两个典型应用实例OpenTSDB和地理信息系统学习一种技术最好的办法就是了解一个正在使用的应用系统是如何应用这种技术来解决问题的。其中开源的OPenTSDB数据监控系统就是应用hbase解决数据存储的。同时hbase还能很好的应对地理信息系统（GIS）中的两个挑战：大规模数据处理的延迟和空间位置建模。1 hbase上查询地理信息系统地理信息系统常作为在线交互用户
2014-11-22 10:03:23
948
转载 Hadoop即将过时了吗？
Hadoop这个单词如今铺天盖地，几乎成了大数据的代名词。仅仅数年时间，Hadoop从边缘技术迅速成长为一个事实标准。如今想玩转大数据，搞企业分析或者商业智能，没有Hadoop还真不行。但Hadoop狂热的背后却酝酿着一场技术变革，Hadoop的核心技术在Google那里已经过时，因为Hadoop并不擅长处理“快数据”。今天，Hadoop似乎已经毫无争议地成了企业大数据技术标准，看上去
2014-11-21 12:32:26
5787
转载 CAP理论
1.CAP概述CAP理论是由EricBrewer教授提出的，在设计和部署分布式应用的时候，存在三个核心的系统需求，这个三个需求之间存在一定的特殊关系。三个需求如下：C: Consistency 一致性A: Availability 可用性P:Partition Tolerance分区容错性CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和
2014-11-21 10:38:07
518
转载 大众点评网平台架构组高级工程师 hadoop 应用案例
大数据 hadoop 应用案例 大众点评===========================================================大众点评网从2011年中开始使用Hadoop，并专门建立团队。Hadoop主分析集群共有60多个节点、700TB的容量，月运行30多万个Hadoop Job，还有2个HBase线上集群。作者将讲述这各个阶段的技术选择及改进之路。
2014-11-20 11:47:09
2845
1
翻译 从Hadoop 说起 六个真实的大数据应用案例
1. Last.fm 1.1背景 创建于2002年，提供网络电台和网络音乐服务的社交网络。每个月有2500万人使用Last.fm，产生大量数据。现在有了中文版http://cn.last.fm/，界面很不错！ 2006年初，Last.fm开始使用Hadoop，几个月后投入实际应用。Hadoop是Last.fm基础平台的关键组件，有2个 Hadoop
2014-11-20 10:59:52
12609
转载 10个Hadoop的应用场景
谁在用 Hadoop这是个问题。在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop的最大用户呢？首先想到的当然是它的“发源地”,像Google这样的大型互联网搜索引擎，以及Yahoo专门的广告分析系统。也许你会认为， Hadoop平台发挥作用的领域是互联网行业，用来改善分析性能并提高扩展性。其实 Hadoop的应用
2014-11-20 10:50:54
873
转载 HBase 在淘宝的应用和优化
本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。前言hbase是从 hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性，因此在数据量猛增的
2014-11-20 10:29:23
700
转载 HBase使用场景
1.2 HBase 使用场景和成功案例有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构，能够告诉你很多。因为HBase有许多公开的产品部署，我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。 注意：不要自我限制，认为HBase只能解决这些使用场景。它是一个初生的技术，根据使用场景进行创新正驱动着系
2014-11-20 09:36:30
699
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人