关闭
当前搜索:

Hive编程(六)【HiveQL:查询】

6.1 select…from语句有如下表结构:CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY, deductions MAP, address STRUCT...
阅读(281) 评论(0)

Hive编程(五)【HiveQL:数据操作】

5.1 向管理表中装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country = 'US', state = 'CA'); 在上述例子中,如果分区目录不存在的话,会先创建分区目录。然后再将数据拷贝到该目录下. 如果目标表是非分区表,省略掉...
阅读(125) 评论(0)

Hive编程(四)【HiveQL:数据定义】

视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM ( SELECT * FROM people JOIN cart ON (cart.people_id=people.id) WHERE firstname='john' ) a SELECT a.lastname WHERE a.id=3; 创建视图 CREATE V...
阅读(179) 评论(0)

Hive编程(三)【数据类型和文件格式】

3.1 基本数据类型TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING TIMESTAMP BINARY 3.2 集合数据类型 STRUCT MAP ARRAY 3.3 文本数据编码 \n 文本文件,分隔行 ^A (“control” A) 列分隔字符,用八进制\001表示 ^B 用于分隔Array或S...
阅读(110) 评论(0)

Hive编程(二)【基础操作】

2.1 安装预先配置好的虚拟机2.2 安装详细步骤2.2.1 安装JavaHive依赖于Hadoop,而Hadoop依赖于Java linux系统中Java安装 $ /usr/java/latest/bin/java -version java version "1.6.0_23" Java(TM) SE Runtime Environment (build 1.6.0_23-b05) Java H...
阅读(226) 评论(0)

Hive编程(一)【基础知识】

Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL方言,来查询存储在Hadoop集群中的数据。Hive可以将大多数的查询转换为MapReduce任务。Hive最适合数据仓库应用程序。使用该应用程序进行相关的静态数据分析,不需要快速响应给出结果,且数据本身不会频繁变化。Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性的限制了Hive所能胜任的工作。...
阅读(132) 评论(0)

JVM必知必会(六)【jvm常用工具-visualvm】

VisualVM简介VisualVM 提供在运行的 Java 应用程序的详细信息。在 VisualVM 的图形用户界面中可以方便、快捷地查看多个 Java 应用程序的相关信息。因为JDK自带该工具,且属于免费软件,我们对java应用程序进行简单的监控分析时直接用该工具,当然如果有更复杂、更专业的监控分析需求,则最好选择商用软件。使用JDK1.6u7以后版本已携带该工具,如果你安装的JDK并未携带该工...
阅读(101) 评论(0)

JVM必知必会(五)【类加载器】

类加载器public class ClassLoaderTest { public static void main(String[] args) { /** * 我们无法获得引导类加载器,因为它是使用c实现的,而且使用引导类加载器加载的类通过getClassLoader 方法返回的是null. 所以无法直接操作引导类加载器,但是我们可以根据Class.ge...
阅读(96) 评论(0)

JVM必知必会(四)【收集器选择,G1】

垃圾收集器选择JVM给了三种选择:串行收集器、并行收集器、并发收集器,但是串行收集器只适用于小数据量的情况,所以这里的选择主要针对并行收集器和并发收集器。默认情况下,JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在启动时加入相应参数。JDK5.0以后,JVM会根据当前系统配置进行判断。吞吐量优先的并行收集器如上文所述,并行收集器主要以到达一定的吞吐量为目标,适用于科学技术和后台处理等。...
阅读(137) 评论(0)

JVM必知必会(三)【内存回收简介,内存分析命令】

内存回收简介Sun的JVM GC(垃圾回收)原理:把对象分为:年轻代(Young)、年老代(Tenured)、持久代(Perm),对不同生命周期的对象使用不同的算法。(基于对对象生命周期分析) Young(年轻代) 年轻代分三个区。一个Eden区,两个Survivor区。大部分对象在Eden区中生成。当Eden区满时,还存活的对象将被复制到Survivor区(两个中的一个),当这个Survivor...
阅读(177) 评论(0)

JVM必知必会(二)【内存模型】

内存模型这张图是我见过的最能描述JVM内存模型的图,JVM包括两个子系统和两个组件。两个子系统为:class loader(类装载)、Execution engine(执行引擎);两个组件为:Runtime data area(运行时数据区)、Native interface(本地接口)Class loader功能:根据给定的全限定名类名(如:java.lang.Object)来装载class文件到...
阅读(128) 评论(0)

JVM必知必会(一)【JVM简介】

Java虚拟机定义Java虚拟机有多层含义 一套规范:Java虚拟机规范。定义概念上Java虚拟机的行为表现 一种实现:例如HotSpot,J9,JRockit。需要实现JVM规范,但具体实现方式不需要与“概念中”的JVM一样。 一个运行中的实例,某个JVM实现的某次运行的实例. 只要输入为符合规范的Class文件即可执行。并非一定要执行Java程序,可以支持其它语言,像Scala、Clojure、...
阅读(132) 评论(0)

Autofac官方文档(二)【新版本】

Autofac和集成软件包的发行说明 Core components Autofac Autofac.Configuration Integration librariesASP.NETWeb Forms MVC Web API SignalR RIA/Domain Services OWIN OWIN Core OWIN / Web API OWIN / MVC WCF MEF Common...
阅读(288) 评论(0)

Autofac官方文档(一)【开始】

将Autofac集成到您的应用程序的基本模式是: 记住控制反转(IoC)的结构。 添加Autofac引用。 在应用程序启动... 创建一个ContainerBuilder。 注册组件。 构建容器并将其存储以备后用。 在执行应用程序时 从容器创建一个生命周期范围。 使用生命周期作用域来解析组件的实例。 本入门指南将引导您完成简单的控制台应用程序的这些步骤。 一旦您掌握了基本知识,您可以...
阅读(240) 评论(0)

AutoMapper官方文档(十八)【条件映射,开放泛型,了解你的映射】

AutoMapper允许你在属性映射之前添加条件到必须满足的属性。这可以用在像下面这样的情况下,我们试图从int映射到unsigned int。class Foo{ public int baz; }class Bar { public uint baz; }在下面的映射中,属性baz只会在源对象中大于或等于0时被映射。Mapper.Initialize(cfg => { cfg.Cre...
阅读(175) 评论(0)

AutoMapper官方文档(十七)【配置】

创建一个MapperConfiguration实例并通过构造函数初始化配置:var config = new MapperConfiguration(cfg => { cfg.CreateMap(); cfg.AddProfile(); });MapperConfiguration实例可以静态存储在一个静态字段中,也可以存储在一个依赖注入容...
阅读(135) 评论(0)

AutoMapper官方文档(十六)【可查询扩展】

当使用带有AutoMapper标准Mapper.Map函数的ORM(如NHibernate或Entity Framework)时,您可能会注意到,当AutoMapper尝试将结果映射到目标类型时,ORM将查询图中所有对象的所有字段。如果你的ORM暴露IQueryables,你可以使用AutoMapper的QueryableExtensions辅助方法来解决这个关键的问题。使用Entity Frame...
阅读(113) 评论(0)

AutoMapper官方文档(十五)【映射继承】

映射继承有两个功能: 从基类或接口配置继承映射配置 运行时多态映射继承基类配置是opt-in,您可以显式指定要从包含基本类型的配置继承的映射,也可以在包含IncludeBase的派生类型配置中指定该映射::CreateMap() .Include() .ForMember(d...
阅读(132) 评论(0)

AutoMapper官方文档(十四)【依赖注入】

AutoMapper支持使用静态服务定位构建自定义值解析器和自定义类型转换器的能力:Mapper.Initialize(cfg => { cfg.ConstructServicesUsing(ObjectFactory.GetInstance); cfg.CreateMap(); });或动态服务定位,用于基于实例的容器(包括 子/嵌套 容器)...
阅读(276) 评论(0)

AutoMapper官方文档(十三)【值转换器,Null替换,Map行为前后】

值转换器值转换器对另一种类型应用额外的转换。 在分配值之前,AutoMapper将检查要设置的值是否有任何相关的值转换,并在设置之前应用它们。您可以创建几个不同级别的值转换器: Globally Profile Map MemberMapper.Initialize(cfg => { cfg.ValueTransformers.Add(val +...
阅读(223) 评论(0)
264条 共14页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1297991次
    • 积分:18625
    • 等级:
    • 排名:第591名
    • 原创:312篇
    • 转载:932篇
    • 译文:123篇
    • 评论:297条
    博客专栏
    文章分类
    打赏
    如果你觉得我的文章对您有用,请随意打赏。 微信 支付宝