- 博客(18)
- 资源 (17)
- 问答 (1)
- 收藏
- 关注
原创 APACHE FALCON CLI
1.Debug模式在这一模式下,Falcon CLI将能够输出Web Services API中关于你正在执行命令的详情。例如:执行成功:执行失败: Entity Management Operations1.submit用途:用于实体定义。用法:$FALCON_HOME/bin/falcon
2016-09-27 21:30:13 1164
原创 Hadoop Hive基础SQL语法(DQL 操作:数据查询SQL)
3.1 基本的Select 操作 SELECT [ALL | DISTINCT] 字段名, 字段名, … FROM 表名 [WHERE 条件] [GROUP BY 列名 [HAVING 条件]] [ CLUSTER BY 列名 | [DISTRIBUTE BY 列名] [SORT BY | ORDER BY 列名]][LIMIT 数字] •使用ALL和DISTINCT选
2016-09-27 17:49:30 519
原创 java中String、StringBuffer、StringBuilder的区别
java中String、StringBuffer、StringBuilder是编程中经常使用的字符串类,他们之间的区别也是经常在面试中会问到的问题。现在总结一下,看看他们的不同与相同。1. 可变与不可变 String类中使用字符数组保存字符串,如下就是,因为有“final”修饰符,所以可以知道string对象是不可变的。private final char value[]; StringBuil
2016-09-26 09:16:55 247
原创 java入门-类、对象的引用
构造方法:1.构造方法没有返回值2.构造方法的名称要与类名相同。 注意:如果在类中定义的构造方法都不是无参的构造方法,则编译器不会为类设置一个默认的无参构造方法,当试图调用无参构造方法实例化一个对象时,编译器会报错。所以只有在类中没有定义任何的构造方法,编译器才会在该类中自动创建一个不带参数的构造方法。静态变量,常量,方法有时需要在同一个内存区域共享一个数据。例如:在圆类对象和球类对象中都会
2016-09-25 22:52:00 323
原创 Hadoop Hive基础SQL语法(DML 操作:元数据存储)
2. DML操作:元数据存储hive不支持用insert语句一条一条的进行插入操作,也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。DML包括:INSERT插入、UPDATE更新、DELETE删除 •向数据表内加载文件 •将查询结果插入到Hive表中 •0.8新特性 insert into2.1.0 向数据表内加载文件 LOAD DA
2016-09-25 19:12:30 507
原创 Hadoop Hive基础SQL语法(DDL 操作)
介绍: Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便
2016-09-23 15:31:08 567
原创 hive分区(partition)简介
1. 为什么要分区?1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by。2. 实现细节1、一个表可以拥有一个或者多个分区,
2016-09-23 01:10:01 985
转载 Hive数据存储的各种模式
Hive的数据分为表数据和元数据,表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。下面分别来介绍。一、Hive的数据存储Hive是基于Hadoop分布式文件系统的,它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告诉Hive数据
2016-09-22 17:52:04 546
原创 Mysql必知必会(笔记)【创建计算字段、使用数据处理函数、汇总数据】
一. 创建计算字段计算字段是运行时在SELECT语句内创建的。 字段:基本上与列的意思相同,经常互换使用,不过数据库列一般称为列,而术语字段通常与计算字段一起使用。1. 拼接字段 select concat(字段名,字段名) [as 别名] from 表名; 例如规定输出格式: select concat(字段名,‘(’,字段名,‘)’) as 别名 fro
2016-09-20 11:54:53 1920
原创 Mysql必知必会(笔记)【高级数据过滤、通配符进行过滤】
1. 高级数据过滤概念:操作符(用来联结或者改变WHERE子句中子句的关键字,也成为逻辑操作符)1)组合WHERE子句为了满足更强的数据过滤,SQL允许给出多个WHERE子句。这些子句有两种使用方式即以AND子句或者OR子句的方式使用。AND操作符 select 列名 from 表名 where 列名=值 and 列名=值(order by 列名【desc】)); OR操作
2016-09-17 11:09:04 559
原创 Mysql必知必会(笔记)【基本概念,检索,过滤】
1. 基本概念数据库:保存有组织的数据的容器表:某种特定类型数据的结构化清单模式:关于数据库和表的布局及特性的信息(数据在表中如何存储,各部分信息如何命名)列:表中的一个字段。所有表都由一个或者多个列组成。行:表中的一个记录。主键:一列(或一组列),其值能够唯一标示表中的每一行。关键字:作为SQL组成部分的保留字。关键字不能用作表或者列的名字。 注:SQL不区分大小写(关键字不区分,
2016-09-16 15:27:18 499
原创 插入排序之直接插入排序(Java篇)
有一个已经有序的数据序列,要求在这个已经排好的数据序列中插入一个数,但要求插入后此数据序列仍然有序,这个时候就要用到一种新的排序方法——插入排序法,插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中,从而得到一个新的、个数加一的有序数据,算法适用于少量数据的排序,时间复杂度为O(n^2)。是稳定的排序方法。插入算法把要排序的数组分成两部分:第一部分包含了这个数组的所有元素,但将最后一个元素
2016-09-15 11:02:16 529
原创 Linux基本操作命令总结以及目录结构图解
命令行常用快捷键Tab:进行命令补全Ctrl+c:用于强制终止当前的程序Ctrl+d:键盘输入结束或者退出终端Ctrl+s:暂停当前程序,暂停后按下任意键进行恢复Ctrl+z:将当前程序放到后台运行,恢复到前台为命令fgCtrl+a:将光标移至输入的行头,相当于Home键Ctrl+e:将光标移至输入的行末,相当于End键Ctrl+k:删除从光标所在位置到行末Alt+Backspac
2016-09-15 00:04:34 540
转载 操作系统原理——进程描述和控制
什么是进程进程的出现,是为了操作系统可以以一种有序的方式管理应用的执行,以达到以下的目的:资源对多个应用程序是可用的。进程在多个应用程序之间的切换以保证多个应用程序都在执行中。处理器和I/O设备能够得到充分利用。进程是一组元素组成的实体,他可以是一个正在执行中的程序,也可以是一个能分配处理器并由处理器执行的实体。进程的两个基本元素是:程序代码和代码相关的数据集。 在进程执行时,任意给定一个
2016-09-14 09:29:04 899
原创 VMware Workstation虚拟机复制详细步骤
环境:centos6.5 1. 将复制文件中的lck文件删除。 2. 对虚拟机进行生成MAC地址操作。(虚拟机设置–>网络适配器–>高级–>生成MAC地址) 3. 启动虚拟机 1.将虚拟机中的网卡配置文件进行MAC地址修改 2.输入命令:ifconfig -a 查看网卡名称 3.将原来的网卡复制生成新的网卡名称,并对虚拟机中的网卡配置文件进行网卡的名字的修改
2016-09-13 11:53:04 5104
转载 基础网络概念:网络是什么?
网络是什么?那么多的操作系统要如何进行网络沟通呢?那就得要制订共同遵守的标准才行。这个标准是由国际组织规范的,你的系统里面只要提供可以加入该标准的程序代码, 那你就能够透过这个标准与其他系统进行沟通,而这个标准就是概念上的网络。1. 什么是网络网络就是几部计算机主机或者是网络打印机之类的接口设备,透过网络线或者是无线网络的技术,将这些主机与设备连接起来,使得数据可以透过网络媒体(网络线以及其他网络
2016-09-11 11:52:05 14851
原创 HDFS架构详解
分布式文件系统物理层存储的分布式。基于客户机/服务器模式:通常一个分布式文件系统提供多个供用户访问的服务器。通常情况下,会具有备份和容错的功能。 hdfs默认备份3份,如果数据丢失,hdfs会根据其他备份进行恢复。通常情况下都基于操作系统的本地文件系统:-ext3,ext4。分布式文件系统的优点:传统文件系统最大的问题就是容量和吞吐量的限制。多用户多应用的并行读写是分布式文件系统的产生
2016-09-10 22:56:37 956
原创 java入门-标识符、关键字、基本数据类型、变量与常量、运算符
标识符理解:标识符可以简单的理解为一个名字,用来标识类名、变量名、方法名、数组名、文件名的有效字符序列。命名规则:Java语言的标示符由字母、数字、下划线和美元符号组成,第一个字符不能为数字。java语言中严重区分大小写Java关键字Java基本数据类型1. 整数类型 注:在对long型变量赋值时结尾必须加上“L”或者“l”,最好加“L”。2. 浮点类型 在对float进行赋值时在结尾必须
2016-09-09 00:01:10 858
ISO-2016-SQL.zip
2021-11-16
hadoop-2.7.0-winutils.zip
2018-04-11
linux Shell 得到当前路径的问题
2016-11-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人