- 博客(60)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 炼数成金-Spark大数据平台
1：Spark生态和安装部署什么是SparkSpark有什么安装部署 Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark Standalone HA安装 Spark工具 Spark交互式工具spark-shell Spark应用程序部署工具spark-submit2：Spark编程模型和解析S
2016-09-23 17:23:54
1988
转载 Hive常用语句
文章目录1 显示分区2 添加分区3 删除分区4 修改分区5 添加列6 修改列7 修改表属性8 表的重命名显示分区show partitions iteblog;添加分区ALTERTABLE table_name ADD [IF NOTEXISTS] PARTITION par
2016-09-23 17:08:07
257
转载 Hive常用字符串函数
Hive内部提供了很多操作字符串的相关函数，本文将对其中部分常用的函数进行介绍。下表为Hive内置的字符串函数，具体的用法可以参见本文的下半部分。返回类型函数名描述intascii(string str)返回str第一个字符串的数值stringbase64(binary bin)将二进制参数转换为base64字符串
2016-09-23 17:04:15
1916
转载 hive常用函数
resource:http://blackproof.iteye.com/blog/2164129用pig的时候，超不爱用pig带的函数，一般都自己写但是用hive，就越来越懒，变成了能不写就不写自己的udf，哈哈 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置
2016-09-23 16:34:03
329
原创 用户名 不在 sudoers文件中，此事将被报告。
使用命令，创建了一个账户，但是这个账户不能切换到其他账户。sudo su - xxx报错如下：xxx 不在sudoers文件中，此事将被报告！网上报的解决办法如下：新建了一个帐号linc，今天在执行sudo时回显一个很吓人的信息：[plain] view plain copy [sudo] password for linc:
2016-09-21 14:38:59
641
转载 ubuntu14.04忽然不能登录，输入密码一直返回登录界面
ubuntu14.04突然不能登录，输入密码一直返回登录界面解决方法：1、ctrl + alt + F1进入命令终端2、重装gdm，sudo apt-get install gdm3、修改启动顺序：dpkg -reconfigure gdm4、重启reboot可登录。 其他办法一： 1. 进入了登录界面后，不用输入密码，按住Ctrl+Alt+F1（听说F1～F6都行） 2. 进入了ubuntu的命
2016-09-21 14:19:09
640
转载 Hive中分组取前N个值
背景假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前100名的学生成绩。这个就是典型在分组取Top N的需求。 解决思路对于取出每科成绩前100名的学生成绩，针对学生成绩表，根据学科，成绩做order by排序,然后对排序后的成绩，执行自定义函数row_number(),必须带一个或者多个列参数，如ROW_NUMBER(col1, ....)，它
2016-09-21 11:27:54
359
转载 Hive总结（五）hive日志
日志记录了程序运行的过程，是一种查找问题的利器。Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢 ？在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，默认的存储情况：hive.root.log
2016-09-21 11:26:56
298
转载 Hive总结（四）hive安装记录
本篇为安装篇较简单：前提：1: 安装了hadoop-1.0.4（1.0.3也可以）正常运行2:安装了hbase-0.94.3, 正常运行接下来，安装Hive，基于已经安装好的hadoop，步骤如下：1：下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将文件hive-0.9.0保存在/hive下
2016-09-21 11:26:19
260
转载 Hive总结（三）hive组件和执行过程
对Hive的基本组成进行了总结：1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver ）－ 控制 HiveQL 生命周期的组件，当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器（Query Compiler） － 是一个组件，将HiveQL编译成有向无环图（direc
2016-09-21 11:25:16
375
转载 Hive总结（二）hive基本操作
阅读本文章可以带着下面问题：1.与传统数据库对比，找出他们的区别2.熟练写出增删改查（面试必备）创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and th
2016-09-21 11:24:06
268
转载 Hive总结（一）hive初始
1.没有接触，不知道这个事物是什么，所以不会产生任何问题。2.接触了，但是不知道他是什么，反正我每天都在用。3.有一定的了解，不够透彻。那么hive，1.我们对它了解多少？2.它到底是什么？3.hive和hadoop是什么关系？扩展：hbase和hive是什么关系？Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求
2016-09-21 11:23:19
270
转载 Hive总结（十二）Hive查询进阶
通过Hive提供的order by子句可以让最终的输出结果整体有序。但是因为Hive是基于Hadoop之上的，要生成这种整体有序的结果，就必须强迫Hadoop只利用一个Reduce来完成处理。这种方式的副作用就是回降低效率。如果你不需要最终结果整体有序，你就可以使用sort by子句来进行排序。这种排序操作只保证每个Reduce的输出是有序的。如果你希望某些特定行被同一个Reduce处理，
2016-09-21 11:20:36
286
转载 Hive总结（十一）Hive自定义函数UDF
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Inte
2016-09-21 11:18:22
310
转载 Hive总结（十）Hive 输入输出适配类（输出CSV,XML）
在最初使用 hive ，应该说上手还是挺快的。 Hive 提供的类 SQL 语句与 mysql 语句极为相似，语法上有大量相同的地方，这给我们上手带来了很大的方便，但是要得心应手地写好这些语句，还需要对 hive 有较好的了解，才能结合 hive 特色写出精妙的语句。关于 hive 语言的详细语法可参考官方 wiki 的语言手册：http://wiki.apache.org/Hadoop/
2016-09-20 17:50:10
366
转载 Hive总结（九）Hive体系结构
1、Hive架构与基本组成 下面是Hive的架构图。图1.1 Hive体系结构 Hive的体系结构可以分为以下几部分： （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式
2016-09-20 16:05:30
656
转载 Hive总结（八）Hive数据导出三种方式
来自：http://blog.csdn.net/lifuxiangcaohui/article/details/40589881今天我们再谈谈Hive中的三种不同的数据导出方式。根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。
2016-09-20 15:33:47
344
转载 Hive总结（七）Hive四种数据导入方式
Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。一、从本地文件系统中导入数据到Hive表先在Hive里面创建好表，如下： hive> create table wyp > (id in
2016-09-20 15:28:21
514
转载 Hive总结（六）hive入门经典
转自：http://www.zypx.cn/technology/20100606132430320046.htmlHive 是什么在接触一个新的事物首先要回到的问题是：这是什么？这里引用 Hive wiki 上的介绍：Hive is a data warehouse infrastructure built on top ofHadoop. It provides too
2016-09-20 15:22:44
285
转载 hive常用函数
字符串函数字符串长度函数：length Java代码 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length(‘abcedfg’) from dual; 7 字符串反转函数：reverse
2016-09-20 13:26:36
343
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人