极客神殿

坚持,自由,信仰

Hive编程(六)【HiveQL:查询】

6.1 select…from语句有如下表结构:CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING, FLOAT>, ad...

2017-11-30 23:15:01

阅读数:511

评论数:0

Hive编程(五)【HiveQL:数据操作】

5.1 向管理表中装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country = 'US', state = 'CA'); 在上述例子...

2017-11-30 20:19:05

阅读数:263

评论数:0

Hive编程(四)【HiveQL:数据定义】

视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM ( SELECT * FROM people JOIN cart ON (cart.people_id=people.id) WHERE firstname='joh...

2017-11-30 19:24:37

阅读数:330

评论数:0

Hive编程(三)【数据类型和文件格式】

3.1 基本数据类型TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING TIMESTAMP BINARY 3.2 集合数据类型 STRUCT MAP ARRAY 3.3 文本数据编码 \n 文本文件,分隔...

2017-11-30 17:02:22

阅读数:193

评论数:0

Hive编程(二)【基础操作】

2.1 安装预先配置好的虚拟机2.2 安装详细步骤2.2.1 安装JavaHive依赖于Hadoop,而Hadoop依赖于Java linux系统中Java安装 $ /usr/java/latest/bin/java -version java version "1.6.0_23&quo...

2017-11-30 16:58:15

阅读数:462

评论数:0

Hive编程(一)【基础知识】

Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL方言,来查询存储在Hadoop集群中的数据。Hive可以将大多数的查询转换为MapReduce任务。Hive最适合数据仓库应用程序。使用该应用程序进行相关的静态数据分析,不需要快速响应给出结果,且数据本身不会频繁变化。Hi...

2017-11-30 16:48:07

阅读数:441

评论数:0

JVM必知必会(六)【jvm常用工具-visualvm】

VisualVM简介VisualVM 提供在运行的 Java 应用程序的详细信息。在 VisualVM 的图形用户界面中可以方便、快捷地查看多个 Java 应用程序的相关信息。因为JDK自带该工具,且属于免费软件,我们对java应用程序进行简单的监控分析时直接用该工具,当然如果有更复杂、更专业的监...

2017-11-30 14:18:19

阅读数:172

评论数:0

JVM必知必会(五)【类加载器】

类加载器public class ClassLoaderTest { public static void main(String[] args) { /** * 我们无法获得引导类加载器,因为它是使用c实现的,而且使用引导类加载器加载的类通过getCla...

2017-11-30 13:48:51

阅读数:147

评论数:0

JVM必知必会(四)【收集器选择,G1】

垃圾收集器选择JVM给了三种选择:串行收集器、并行收集器、并发收集器,但是串行收集器只适用于小数据量的情况,所以这里的选择主要针对并行收集器和并发收集器。默认情况下,JDK5.0以前都是使用串行收集器,如果想使用其他收集器需要在启动时加入相应参数。JDK5.0以后,JVM会根据当前系统配置进行判断...

2017-11-30 13:38:33

阅读数:916

评论数:0

JVM必知必会(三)【内存回收简介,内存分析命令】

内存回收简介Sun的JVM GC(垃圾回收)原理:把对象分为:年轻代(Young)、年老代(Tenured)、持久代(Perm),对不同生命周期的对象使用不同的算法。(基于对对象生命周期分析) Young(年轻代) 年轻代分三个区。一个Eden区,两个Survivor区。大部分对象在Eden区中...

2017-11-30 13:26:38

阅读数:379

评论数:0

JVM必知必会(二)【内存模型】

内存模型这张图是我见过的最能描述JVM内存模型的图,JVM包括两个子系统和两个组件。两个子系统为:class loader(类装载)、Execution engine(执行引擎);两个组件为:Runtime data area(运行时数据区)、Native interface(本地接口)Class...

2017-11-29 22:27:17

阅读数:214

评论数:0

JVM必知必会(一)【JVM简介】

Java虚拟机定义Java虚拟机有多层含义 一套规范:Java虚拟机规范。定义概念上Java虚拟机的行为表现 一种实现:例如HotSpot,J9,JRockit。需要实现JVM规范,但具体实现方式不需要与“概念中”的JVM一样。 一个运行中的实例,某个JVM实现的某次运行的实例. 只要输入为符合规...

2017-11-29 22:04:22

阅读数:222

评论数:0

Autofac官方文档(二)【新版本】

Autofac和集成软件包的发行说明 Core components Autofac Autofac.Configuration Integration librariesASP.NETWeb Forms MVC Web API SignalR RIA/Domain Services OWIN ...

2017-11-29 13:50:00

阅读数:1149

评论数:0

Autofac官方文档(一)【开始】

将Autofac集成到您的应用程序的基本模式是: 记住控制反转(IoC)的结构。 添加Autofac引用。 在应用程序启动... 创建一个ContainerBuilder。 注册组件。 构建容器并将其存储以备后用。 在执行应用程序时 从容器创建一个生命周期范围。 使用生命周期作用域...

2017-11-29 13:34:00

阅读数:1215

评论数:0

AutoMapper官方文档(十八)【条件映射,开放泛型,了解你的映射】

AutoMapper允许你在属性映射之前添加条件到必须满足的属性。这可以用在像下面这样的情况下,我们试图从int映射到unsigned int。class Foo{ public int baz; }class Bar { public uint baz; }在下面的映射中,属性baz只会...

2017-11-29 10:11:56

阅读数:604

评论数:0

AutoMapper官方文档(十七)【配置】

创建一个MapperConfiguration实例并通过构造函数初始化配置:var config = new MapperConfiguration(cfg => { cfg.CreateMap<Foo, Bar>(); cfg.AddProfile<Foo...

2017-11-29 09:33:05

阅读数:477

评论数:0

AutoMapper官方文档(十六)【可查询扩展】

当使用带有AutoMapper标准Mapper.Map函数的ORM(如NHibernate或Entity Framework)时,您可能会注意到,当AutoMapper尝试将结果映射到目标类型时,ORM将查询图中所有对象的所有字段。如果你的ORM暴露IQueryables,你可以使用AutoMap...

2017-11-29 09:32:12

阅读数:241

评论数:0

AutoMapper官方文档(十五)【映射继承】

映射继承有两个功能: 从基类或接口配置继承映射配置 运行时多态映射继承基类配置是opt-in,您可以显式指定要从包含基本类型的配置继承的映射,也可以在包含IncludeBase的派生类型配置中指定该映射::CreateMap<BaseEntity, BaseDto>(...

2017-11-29 09:31:04

阅读数:343

评论数:0

AutoMapper官方文档(十四)【依赖注入】

AutoMapper支持使用静态服务定位构建自定义值解析器和自定义类型转换器的能力:Mapper.Initialize(cfg => { cfg.ConstructServicesUsing(ObjectFactory.GetInstance); cfg.CreateMap&l...

2017-11-28 16:57:09

阅读数:2001

评论数:0

AutoMapper官方文档(十三)【值转换器,Null替换,Map行为前后】

值转换器值转换器对另一种类型应用额外的转换。 在分配值之前,AutoMapper将检查要设置的值是否有任何相关的值转换,并在设置之前应用它们。您可以创建几个不同级别的值转换器: Globally Profile Map MemberMapper.Initialize(...

2017-11-28 16:39:48

阅读数:632

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭