大数据
文章平均质量分 67
爱吃串串的瘦子
程序写的棒,全凭代码浪
展开
-
ETL介绍与ETL工具比较
本文转载自:http://blog.csdn.net/u013412535/article/details/43462537ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。ETL负责将分布的、异构数据源中的数据如关...转载 2018-07-09 10:20:02 · 8961 阅读 · 0 评论 -
Hadoop整体框架
大数据框架目录大数据框架一、Hodoop四大组件:HDFS/MapReduce/YARN/Common二、Zookeeper三、Hive四、Spark五、ETL六、ngnix七、Redis八、Oracle十一、Jsp/node.js/JQueryEcharts一、hadoophttp://blog.csdn.net/huanglong8/...原创 2018-07-17 18:08:17 · 13530 阅读 · 4 评论 -
ETL利器----Kettle实战应用
文章主要索引如下:一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】本文主要阅读目录如下:1、Kettle概念2、下载和部署3、Kettle环境配置4、Kettle使用及组件介绍 ETL(E...转载 2018-07-18 10:58:39 · 1150 阅读 · 0 评论 -
Hive入门学习随笔(一)
===什么是Hive?Hive是基于Hadoop HDFS之上的数据仓库。我们可以把数据存储在这个基于数据的仓库之中,进行分析和处理,完成我们的业务逻辑。本质上就是一个数据库 ===什么是数据仓库?实际上就是一个数据库。我们可以利用数据仓库来保存我们的数据。与一般意义上的数据库不同。数据库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,它用于支持企业和组织...转载 2018-07-20 11:30:39 · 2098 阅读 · 3 评论 -
HIVE学习之(三)
Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQ...转载 2018-07-25 18:37:08 · 417 阅读 · 0 评论 -
大数据基础(一)——关系+文章
一、DB、ETL、DW、OLAP、DM、BI关系结构图转载自:http://www.cnblogs.com/ycdx2001/p/4538750.html(1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的...转载 2018-07-20 13:39:43 · 1980 阅读 · 0 评论 -
Hive入门学习随笔(二)
====使用Load语句执行数据的导入--将操作系统上的文件student01.txt数据导入到t2表中load data local inpath '/root/data/student01.txt' into table t2;--将操作系统上/root/data文件夹下的所有文件导入t3表中,并且覆盖原来的数据load data local inpath '/root/...转载 2018-07-20 14:12:53 · 224 阅读 · 0 评论 -
不同数据库限制取前N条记录
1.mysql SELECT * FROM TABLENAME LIMIT N 2.sql serverSELECT TOP N * FROM TABLENAME 3.orale(1)rownum(oracle从8开始提供的一个伪列,是把SQL出来的结果进行编号,始终从1开始常见的用途就是用来分页输出) oracle 取前10条记录 1) selec...原创 2018-07-26 16:48:20 · 218 阅读 · 0 评论 -
uedit使用技巧
Tip 1: 如何去掉所编辑文本中包含特定字符串的行? 这则技巧是在UltraEdit的帮助文件里提到.CTRL+R 调出来替换(Replace)窗口,选中"使用正则表达式";然后用查找 %*你的字符串*^p 替换成空内容即可.如,我当前有个文本文件,需要去掉所有包含 http://www.dbanotes.net/ 这个字符串的行,查找%*http://www.dbanotes.net/*^...转载 2018-07-30 19:47:08 · 5514 阅读 · 0 评论