自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

TRY

  • 博客(8)
  • 资源 (6)
  • 收藏
  • 关注

转载 mysql学习记录

1-每个部门工资前三高的所有员工:Employee表包含所有员工信息,每个员工有其对应的工号Id,姓名Name,工资Salary和部门编号DepartmentId。+----+-------+--------+--------------+| Id | Name | Salary | DepartmentId |+----+-------+--------+--------------+| 1 | Joe | 85000 | 1 || 2 |...

2021-07-02 10:33:07 88

原创 DataStage函数大全

一、 类型转换函数类型转换函数用于更改参数的类型。以下函数位于表达式编辑器的“类型转换”类别中。方括号表示参数是可选的。缺省日期格式为 %yyyy-%mm-%dd。以下示例按照 Transformer 阶段的“派生”字段中所示来显示这些函数。1. Char根据其数字代码值生成一个 ASCII 字符。您可以指定 allow8bits 参数来转换 8 位 ASCII 值(可选)。...

2018-11-25 22:18:46 3920

原创 datastage_分区说明

DataStage系列-分区方法之哈希分区哈希分区是这样操作的:对输入数据中每条记录的一个或者多个字段的值进行函数计算,得到一个哈希值,哈希值相同的记录被划分到同一个分区。用来计算哈希值的字段,称做哈希分区键。 哈希分区所产生的各个分区中,数据是否均匀,取决于所选取的分区键。比如在人口数据表中,如果选用邮编作为分区键,那么可能少数分区被分配了大量的数据,其他分区的数据则较少。这很容...

2018-11-12 23:44:44 270

原创 DataStage_Stage使用

Funnel阶段Funnel阶段是一个处理阶段。它将多个输入数据集复制到单个数据集,该操作对于将单独数据集合并到单个大型数据集而言非常有用。该阶段可以有众多输入链接和一个输出链接Funnel阶段能够以下列三种方式之一运行:连续传送以不可保证顺序合并输入数据的记录。它依次从每个输入链接获取一条记录。如果输入链接上的数据不可用,那么该阶段会跳至下一个链接,而不是等待。 排序传送按照一个或...

2018-11-12 23:42:45 1802

原创 DataStage_FAQ

1 数据库无法连接1.1 问题描述      安装完DataStage后,服务可以正常启动,但是无法在Plug_in里面通过CLIENT连接到数据库.1.2 原因分析      经过检查,发现在/home/dsadm/Ascential/DataStage/DSEngine/下面的dsenv文件中,SHLIB_PATH和LIBPATH这两个变量没有设置好.1.3 解决方案 ...

2018-11-12 23:40:59 642

原创 DataStage_FAQ(1)

1.What are the ways to execute datastage jobs?A job can be run using a few different methods: * from Datastage Director (menu Job -> Run now...)* from command line using a dsjob command* ...

2018-11-12 23:38:21 1064

原创 DataStage(ETL)技术总结

数据整合的核心内容是从数据源中抽取数据,然后对这些数据进行转化,最终加载的目标数据库或者数据仓库中去,这也就是我们通常所说的 ETL 过程(Extract,Transform,  Load)。    IBM WebSphere DataStage(下面简称为DataStage)为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化...

2018-11-12 23:26:30 1329

翻译 datastage 7.5.1A序列号

 Ascential Datastage 7.5.1A: -=-=-=-=-=-=-=-=-=-=-=-=-=-1) run "INSTALL.exe" to install2) When setup asks for Authorization Details use the following   (CASE SENSITIVE):   * DataStage Server:...

2018-11-10 13:43:18 344 1

mysql终端navicat

mysql终端navicat,用于mysql可视化的终端

2019-03-06

zookeeper-3.4.5-cdh5.14.2.tar.gz

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

2018-08-07

hue-3.9.0-cdh5.14.2.tar.gz

Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。hue-logo.png特性:一个HDFS的文件浏览器,一个MapReduce/YARN的Job浏览器,一个 HBas的浏览器,Hive,Pig,Cloudera Impala 和 Sqoop2 的查询编辑器。它还附带了一个Oozie的应用程序,用于创建和监控工作流程,一个Zookeeper浏览器和SDK。

2018-08-07

hive-1.1.0-cdh5.14.2.tar.gz

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。另外一个是Windows注册表文件。

2018-08-07

flume-ng-1.6.0-cdh5.14.2.tar.gz

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

2018-08-07

sqoop-1.4.6-cdh5.14.2.tar.gz

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

2018-08-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除