- 博客(17)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 hive中map和reduce优化
注：转载之>>>http://blog.sina.com.cn/s/blog_9f48885501017dua.htmlmap和reduce 个数的设定 （Hive优化）经典一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群
2015-08-24 16:07:23
483
转载 MySQL中视图
注：转载之>>>http://www.360doc.com/content/13/1117/22/7669533_330092770.shtml、http://zhangzhenyihi.blog.163.com/blog/static/13548809420141104122391/和http://www.cnblogs.com/wangtao_20/archive/2011/02/24/196
2015-08-21 11:33:04
537
转载 DataInputStream和DataOutputStream类
注：转载之>>>http://xyiyy.iteye.com/blog/361098DataInputStream和DataOutputStream类1.有时没有必要存储整个对象的信息，而只是要存储一个对象的成员数据，成员数据的类型假设都是Java的基本数据类型，这样的需求不必使用到与Object输入、输出相关的流对象，可以使用DataInputStream、DataOutputS
2015-08-20 16:04:54
344
转载 浅析Mysql Join语法以及性能优化
注：转载之>>>http://www.jb51.net/article/50427.htm内外联结的区别是内联结将去除所有不符合条件的记录，而外联结则保留其中部分。外左联结与外右联结的区别在于如果用A左联结B则A中所有记录都会保留在结果中，此时B中只有符合联结条件的记录，而右联结相反，这样也就不会混淆了。一．Join语法概述join 用于多表中字段之间的联系，语法如下：
2015-08-19 09:42:51
3300
转载 sql中的group by 和 having 用法解析
注：转载之>>>http://www.cnblogs.com/wang-123/archive/2012/01/05/2312676.htmlsql中的group by 和 having 用法解析--sql中的group by 用法解析：-- Group By语句从英文的字面意义上理解就是“根据(by)一定的规则进行分组(Group)”。--它的作用是通过一定的规则将一
2015-08-18 17:26:20
347
转载 hive中map、struct、array的使用
注：转载之>>>http://www.cnblogs.com/end/archive/2013/01/17/2863884.htmlhive提供了复合数据类型：Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问指定域可以通过["指定域名称"
2015-08-18 14:44:38
388
转载 Hive QL操作
注：转载之>>>http://blog.sina.com.cn/s/blog_66474b16010182yu.html一、创建表[ROW FORMAT DELIMITED]关键字，是用来设置创建的表在加载数据的时候，支持的列分隔符；[STORED AS file_format]关键字是用来设置加载数据的数据类型。Hive本身支持的文件格式只有：Text File，Sequence F
2015-08-14 16:40:05
310
转载 聚集索引和非聚集索引的区别
注：转载之>>>http://blog.sina.com.cn/s/blog_6de032b90101eg6n.html您可以把索引理解为一种特殊的目录。两种索引：聚集索引（clustered index，也称聚类索引、簇集索引）和非聚集索引（nonclustered index，也称非聚类索引、非簇集索引）。聚集索引和非聚集索引的区别： 其实，我们的汉
2015-08-14 14:51:29
362
转载 mysql分表和表分区详解
注：转载之>>>http://www.2cto.com/database/201503/380348.html为什么要分表和分区？日常开发中我们经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下，如果涉及联合查询的情况，性能会更加糟糕。分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通
2015-08-14 11:45:51
286
转载 hive的数据类型和数据模型
注：转载之>>>http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.html关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。 首先我要讲讲hiv
2015-08-14 11:36:41
1437
原创 Hive的安装
Hive是运行在Hadoop上的，因此在之前还必须安装好Hadoop。这儿有版本对应问题，我装的Hadoop2.2.0+Hive1.2.1。Hive安装：首先是MYSQL的安装：hive内置数据库是Derby,这是存放元数据的地方，可以指定配置为MySQL。检查MySQL：查看该操作系统上是否已经安装了mysql数据库：rpm -qa | grep mysql若有信息则卸载
2015-08-12 15:20:55
543
转载 Hadoop添加和撤销节点
注：转载之>>>http://my.oschina.net/MrMichael/blog/291802#OSC_h1_1和http://www.cnblogs.com/tommyli/p/3418273.html添加节点1：准备工作：添加用户并设置无密码登录，设置namenode节点到新节点的无密码连接，并修改所有节点的hosts文件（添加节点IP-hostname映射）
2015-08-10 16:54:40
675
转载 Java实现二叉树的定义和递归实现
注：转载之>>>http://blog.csdn.net/luoweifu/article/details/9077521定义最多有两棵子树的有序树，称为二叉树。二叉树是一种特殊的树。递归定义：二叉树是n(n>=0)个有限结点构成的集合。N=0称为空二叉树；n>0的二叉树由一个根结点和两互不相交的，分别称为左子树和右子树的二叉树构成。二叉树中任何
2015-08-06 15:58:08
4095
转载 浅析Java设计模式之装饰器模式
注：转载之>>>http://chenhua-1984.iteye.com/blog/565629(加粗部分是自己所写)记得以前听一个高手说java.io包采用了了装饰器模式，当时不是很明白什么事装饰器模式，现在，网上看了一下说明和帮助的例子，他们的例子是这样的。 定义Decorator装饰器，顾名思义，就是动态地给一个对象添加一些额外的职责，就好比为房子进行装修一
2015-08-05 16:15:25
361
转载 浅析Java设计模式之适配器模式
注：转载之>>>http://blog.csdn.net/jason0539/article/details/224684571. 概述 将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的那些类可以在一起工作。2. 解决的问题 即Adapter模式使得原本由于接口不兼容而不能一起工作的那些类可以在一起工作。
2015-08-05 15:24:13
289
转载 MySQL Index详解
注:转载之>>>http://blog.csdn.net/tianmohust/article/details/7930482①MySQL Index一、SHOW INDEX会返回以下字段1、Table 表的名称。2、 Non_unique 如果索引不能包括重复词,则为0,如果可以则为1。3、 Key_name 索引的名称4、 Seq_in_in
2015-08-03 10:59:46
397
转载 MySQL的联合查询
注：转载之>>>http://blog.csdn.net/yl_wh/article/details/8649909MySQL联合查询效率较高，以下例子来说明联合查询（内联、左联、右联、全联）的好处：T1表结构（用户名,密码） userid（int） usernamevarchar（20） passwordvarchar（20） 1 jack ja
2015-08-03 10:04:19
329
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人