- 博客(9)
- 收藏
- 关注
RSS订阅转载 Hbase基本操作示例
Hadoop Hbase通过行关键字、列（列族名：列名）和时间戳的三元组确定一个存储单元（cell），即由{row key, column family, column name, timestamp} 可以唯一确定一个存储值，即一个键值对：{row key, column family, column name, timestamp} -> value下面
2016-11-16 20:18:34
1197
转载 分布式锁的三种实现方式
首先说明一下什么是分布式锁，维基百科的说明为：分布式锁，是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。写在前面在进行大型网站技术架构设计以及业务实现的过程
2016-11-16 20:16:09
318
转载 数据库设计准则（第一、第二、第三范式说明）
I、关系数据库设计范式介绍1.1 第一范式（1NF）无重复的列 所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。简而言之，
2016-11-16 20:15:23
334
转载 Hive SQL的编译过程_美团技术点评
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有
2016-11-16 20:13:26
1765
转载 SBT - Resolvers
Maven Resolvers for Maven2 repositories are added as follows:resolvers += "Sonatype OSS Snapshots" at "https://oss.sonatype.org/content/repositories/snapshots"This is the most common kind
2016-11-16 11:08:35
2100
转载 SBT - Library Dependencies
This page assumes you've read the earlier Getting Started pages, in particular .sbt build definition, scopes, and more about settings.Library dependencies can be added in two ways:unmanage
2016-11-16 10:56:13
1418
转载 Spark 2.0技术预览：更容易、更快速、更智能
在过去的几个月时间里，我们一直忙于我们所爱的大数据开源软件的下一个主要版本开发工作：Apache Spark2.0。Spark 1.0已经出现了2年时间，在此期间，我们听到了赞美以及投诉。Spark 2.0的开发基于我们过去两年学到的：用户所喜爱的我们加倍投入；用户抱怨的我们努力提高。本文将总结Spark 2.0的三大主题：更容易、更快速、更智能。更深入的介绍将会在后面博客进行介绍。
2016-11-15 10:38:17
363
转载 解析大数据基准测试——TPC-H or TPC-DS
随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化，大数据管理技术得到了突飞猛进的发展。一般来说，大数据具有3V特性，即Volume（海量）、Velocity（高速）和Variety（多样）[1]。TPC联合主席、Cisco高级工程师Raghunath Nambiar进一步认为大数据还面临Value（价值）和Veracity（精确）的挑战。如何客观地比
2016-11-15 10:13:19
592
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人