2014年05月_yakcy

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月 01月

原创 Hbase在数据统计中的应用心得

1. 数据统计的需求互联网上对于数据的统计，一个重要的应用就是对网站站点数据的统计，例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。网站站点统计工具无外乎有以下一些功能：1）网站流量统计：包括PV、UV、IP等指标，这些统计指标可以以趋势图的形式展示出来，如最近一周、最近一个月等。2）IP来源信息统计：记录各个来源IP下的访问PV

2014-05-29 17:33:56 1583

原创淘宝在hbase中的应用和优化

本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。目录 [ - ]前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划前言hbase是从 hadoop中分离出来的apache顶级开源项目。由

2014-05-28 16:54:48 1425

原创关系型数据库与HBase的数据储存方式区别

如今Bigtable型(列族)数据库应用越来越广，功能也很强大。但是很多人还是把它当做关系型数据库在使用，用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。传统关系型数据库(mysql，oracle)数据存储方式主要如下：图一上图是个很典型的数据储存方式，我把每条记录分成3部分:主键、记录属性、索引字段。我们会对索引字段建立索引，达到二级索引

2014-05-21 16:55:27 5784 1

原创 hbase是否能取代mysql

代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门，负责创新性项目的研究和跟进，目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。在

2014-05-20 14:55:00 7202 3

原创非结构化数据的存储与查询

当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。

2014-05-15 14:18:35 20138

原创数据导入HBase最常用的三种方式及实践分析

数据导入HBase最常用的三种方式及实践分析摘要：要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。【编者按】要使用Hadoop，数据合并至

2014-05-15 12:58:08 1199

原创 Hive常用命令

创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表，结构与其他一样hive> create table n

2014-05-13 17:32:39 1609

原创 Hive sql 语法解读

一、创建表在官方的wiki里，example是这样的：Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITION

2014-05-13 17:28:06 1011

原创 hive-0.10.0-cdh4.3.0安装

1.我使用的Hadoop2.0-cdh4.3.0，对应hive配套版本hive-0.10.0-cdh4.3.0。 2.修改hive/conf下hive-site.xml文件，无则创建hive-site.xml,在底部添加如下内容： [html] view plaincopyxml version="1.0" encoding="UTF-8"

2014-05-13 10:54:06 1313

原创安装HBase 0.94.6-cdh4.3.0

安装HBase 0.94.6-cdh4.3.0设定HBase的配置文件，由于安装的是cdh版，各版本直接匹配，互相依赖的jar包也都正确，只需要配置下hbase的环境变量和配置文件即可。1.配置hbase-env.sh，添加JAVA_HOME环境变量[html] view plaincopyexport JAVA_HOME=/us

2014-05-12 15:36:34 1370

原创 Hbase常用命令

hbase shell命令的使用再使用hbase 命令之前先检查一下hbase是否运行正常hadoop@Master:/usr/hbase/bin$ jps2640 HMaster27170 NameNode27533 SecondaryNameNode3038 Jps27795 TaskTracker27351 DataNode2574 HQuorumPeer

2014-05-12 15:28:11 1253

原创 Hadoop MapReduce2.0（Yarn）

MapReduce2.0（Yarn）MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用

2014-05-05 15:52:48 1263

原创 linux下分区大小改变及fdisk应用

linux下分区大小改变及fdisk应用实例解说Linux中fdisk分区使用方法一、fdisk 的介绍fdisk - Partition table manipulator for Linux ，译成中文的意思是磁盘分区表操作工具；本人译的不太好，也没有看中文文档；其实就是分区工具。fdsik 能划分磁盘成为若干个区，同时也能为每个分区指定分区的文件系统，比如linu

2014-05-04 15:38:14 4032 1