原创 Kettle-1-安装配置

写在前面一： 数据仓库ETL工具有很多，基于大数据环境下的分析，Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。 写在前面二： 所用软件说明： 一、什么是Kettle Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transf

原创 一个简单的Shell 解答网友问题

解决问题： Shell实现每5秒钟打印一次当前时间，打印10次

原创 详细总结 Hive VS 传统关系型数据库

本文思路，看图说话，一张图，清晰总结二者区别 下面对图中的各条做详细总结 1、查询语言 不做赘述 2、数据存储位置 不做赘述 3、数据格式 Hive：Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式

原创 简要总结 数据仓库VS数据库

本文简要总结以下两个问题，旨在快速理解“数据仓库” 1、什么是“数据仓库”？ 2、“数据仓库”与“数据库”的区别？ 下面做详细阐述： 1、什么是“数据仓库”？ “一个数据仓库通常是一个面向主题的、集成的、与时间相关且不可修改的（可以添加）数据集合，它用于对管理决策过程的支持。” 此句话包含几个关键点：面向主题的、集成的、与时间相关的、不可修改的，具体含义欢迎留言交流。 2、数据仓

原创 Java性能优化，不得不付诸实践的JVM

暂附贴图，详情稍后叙述，欢迎留言交流 图一、JVM知识体系（部分） 图二、通过jconsole监控jvm 图三、通过jvisualvm监控jvm

原创 宏观把握Hadoop生态系统

原创 Hive整合HBase——通过Hive读/写 HBase中的表

写在前面一：本文将Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，相得益彰。写在前面二：使用软件说明：约定所有软件的存放目录：/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler-0.9.0

原创 MapReduce详细处理过程

原创 Hadoop生态系统（全）