rencheng的博客

Hive复杂数据类型有Array、Map、Struct三种。下面介绍这三种复杂数据类型的使用方法。1 Array类型创建数据库 创建数据库 表，以 Array做为数据类型  查询数据库表 查询person表 array数据类型字段指定列。查询array数据类型字段的长度。查询array数据类型字段指定列的一行数据。查看表结构2 Map类型创建数据库表...

Hive表-导入数据1.Load方式导入LOAD DATA [LOCAL] INPATH'filepath'[OVERWRITE] INTO TABLE tablename[PARTITION (partcol1=val1, partcol2=val2 ...)]2.CREATE TABLE … AS SELECT（CATS）Hive表-表的修改、删除 1.重命名表ALTER...

Hive体系结构用户接口CLI：Cli 启动的时候，会同时启动一个Hive 副本。JDBC客户端：封装了Thrift,java应用程序，可以通过指定的主机和端口连接到在另一个进程中运行的hive服务器ODBC客户端：ODBC驱动允许支持ODBC协议的应用程序连接到Hive。WUI 接口：是通过浏览器访问HiveThrift服务器:  基于socket通讯，支持跨语言。Hive Th...

什么是MapReduce?主要由Map和Reduce两部分组成。Reduce阶段在Map阶段执行结束之后执行。Map阶段的输出结果作为Reduce阶段的输入结果。Reduce阶段的输入结果对应于多个Map的输出结果。Reduce阶段计算最终结果并将结果输出。输入数据：一系列key/value对。用户实现两个函数，map和reduce。Map(k,v)list(k1,v1)...

HDFS 分布式文件系统基本原理：将文件切分成等大的数据块，分别存储在多台机器上；每个数据块存在多个备份；将数据切分、容错、负载均衡等功能透明化。namenode: 管理文件系统的命名空间,它维护着文件系统树及整棵树内所有的文件和目录.     包含两个文件：命名空间镜像文件(fs-image：是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系...

1 Hive 空值问题      Hive的使用中不可避免的需要对null、‘’(空字符串)进行判断识别。但是hive有别于传统的数据库。(1)不同数据类型对空值的存储规则。     int与string 类型数据存储，null 默认存储为\N。string类型的数据如果为""，存储则是""。     另外往int类型的字段插入数据“”时，结果还是\N。(2)不同数据类型，空值的查询...

HBase数据模型对比关系型数据库管理系统(RDBMS)理解HBase   HBase RDBMS 数据类型 HBase只有字符串（字节数组） RDBMS有丰富的数据类型 数据操作 HBase只支持增删改查 RDBMS支持SQL语句 存储模式 HBase基于列存储 RDBMS基于行存储 数据更新 HBase数据有多个...

运行命令：hbaseshell进入Hbaseshell console。1.查看有哪些表list2.创建表：语法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}Example:create 'fanData',{NAME=>'INFO',VERSIONS =&gt...

什么是zookeeper？zookeeper是一个针对大型分布式系统的可靠协调系统；提供的功能包括：配置维护、名字服务、分布式同步、组服务等；目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper 架构每个Server在内存中存储了一份数据；Zookeeper启动时，将从实例中选举一个leader（Paxos协议）；Le...