- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Python的yield用法
转载：http://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/#icomments 初学Python的开发者经常会发现很多Python函数中用到了yield关键字，然而，带有yield的函数执行流程却和普通函数执行流程不一样，yield到底用来做什么？本文将由浅入深地讲解yield的概念和用法，帮助读者体会Python里
2016-03-17 18:42:30
438
原创 Hive——用户自定义函数(UDF)
Hive——用户自定义函数(UDF) 用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。用户可以使用Java编写自己的UDF，一旦将用户自定义函数加入到用户会话中(交互式的或者通过脚本执行的)，它们就将和内置的函数一样使用，甚至可以提供联机帮助。Hive具有多种类型的用户自定义函数，每一种都会针对输入数据执行特定“一类”的转换过程。 在ETL处理中，一个处理过程可能包含多个处理
2016-03-16 20:16:01
16826
原创 HiveQL：数据操作
向管理表中转载数据 既然Hive没有行级别的数据插入、数据更新和删除操作，那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作。或者通过其他方式仅仅将文件写入到正确的目录下。 例如：LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTO TABLE employeesPARTITION (cou
2016-03-15 17:19:24
1666
原创 HiveQL数据定义
Hive中的数据库 Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。然而，对于具有很多组和用户的大集群来说，这时非常有用的，因为这样可以避免表命名冲突。通常会使用数据库来将生产表组织成逻辑组。 如果用户没有显式指定数据库，那么将会使用默认的数据库default。 下面这个例子就展示了如何创建一个数据库：hive> CREATE DATABASE financials; 如果数据库
2016-03-14 00:08:18
659
原创 Hive中的数据类型和文件格式
Hive支持关系型数据库中的大多数基本数据类型，同时支持关系型数据库中很少出现的3种集合数据类型，下面我们将简短地介绍一下这样做的原因。 其中一个需要考虑的因素就是这些数据类型是如何在文本文件中进行表示的，同时还要考虑文本存储中为了解决各种性能问题以及其他问题有哪些替代方案。和大多数的数据库相比，Hive具有一个独特的功能，那就是其对于数据在文件中的编码方式具有非常大的类活性。大多数的数据库对
2016-03-13 18:55:15
6063
原创 XPath学习
XPath简介 XPath是一门在XML文档中查找信息的语言。XPath可用来在XML文档中通过元素和属性进行导航。XPath是W3C XSLT标准的主要元素，并且XQuery和XPointer都构建于XPath表达之上。因此，对XPath的理解是很多高级XML应用的基础。XPath节点<?xml version="1.0" encoding="ISO-8859-1"?><bookstore><b
2016-03-11 16:41:58
1069
原创 Hive命令行界面
Hive命令行界面 命令行界面，也就是CLI，是和Hive交互的最常用的方式。使用CLI，用户可以创建表、检查模式以及查询表，等等。CLI选项 下面这个命令显示了CLI所提供的选项列表：[hadoop@localhost hive]$ hive --help --service cliusage: hive -d,--define <key=value> Variable
2016-03-10 21:22:44
5166
原创 Hive简介
Hadoop生态系统中的Hive Hive不仅提供了一个熟悉SQL的用户所能熟悉的编程模型，还消除了大量的通用代码，甚至是哪些有时是不得不使用Java编写的令人棘手的代码。 Hive发行版中附带的模块有CLI，一个称为Hive网页界面(HWI)的简单 网页界面，以及可通过JDBC、ODBC和一个Thrift服务器进行编程访问的几个模块。 所有的命令和查询都会进入到Driver(驱动模块)、通过
2016-03-10 15:29:05
670
原创 信号集
信号集信号集函数 Linux使用数据结构sigset_t来表示一组信号。其定义如下：#include <bits/sigset.h>/* A `sigset_t' has a bit for each signal. */# define _SIGSET_NWORDS (1024 / (8 * sizeof (unsigned long int)))typedef struct{ u
2016-03-01 11:12:54
1007
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人