hailunw的专栏

概念

分库分表

定义索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的数据结构二叉树红黑树Hash表B-Tree...

PowerCenter ClientPowerCenter Client 由管理 repository，设计mapping，mapplet以及加载数据的session的工具组成。它包括如下工具： Designer. 通过Designer我们可以创建mappings。 Mapping Architect for Visio. 通过Mapping Architect for Visio，我们可以创建mapping模板。 Repository Manager. 通过Repositor.

常用组件：1）Expression组件，基于行级的数据项赋值修改计算，在同行记录中可以新增减少数据项。属于Passive组件。可以进行数据类型转换，数据项计算等。2）Source Qualifier、Filter组件，对流入组数据中的记录数据进行过滤，类似于关系型数据库中的where条件。属于Active组件。3）Router组件，对流入组件中的记录数据按照条件进行分发，类似于Java中的switch语句。属于Active组件。4）Joiner组件，对异构数据进行关联（同构关联用Source

参考文档：https://docs.informatica.com/data-integration/powercenter/10-5/getting-started/product-overview/introduction.html版本信息：当前最新版本是 10.5 。历史版本有 10.4.1, 10.4.0，10.2 HF2,10.2 HF1, 10.2，10.1.1 HF2， 10.1.1 HF1， 10.1.1， 10.1 和 10.0简介：Informatica Power.

1 下载VMWare Player，https://my.vmware.com/en/web/vmware/free#desktop_end_user_computing/vmware_workstation_player/14_0 ，

大数据项目实战---电商埋点日志分析（第八部分，用户留存主题（DWS层+ADS层）

大数据项目实战---电商埋点日志分析（第七部分，DWS层之每日新增设备主题）

大数据项目实战---电商埋点日志分析（第六部分，ADS层之用户活跃主题）

构建DWD层往DWD层加载数据

Tez简介Tez是一个Hive的运行引擎，由于没有中间存盘的过程，性能优于MR。Tez可以将多个依赖作业转换成一个作业，这样只需要写一次HDFS，中间节点少，提高作业的计算性能。Tez的安装步骤

姓名: 性别: 出生年月： 手机号： 13130020665 邮箱： 居住住址: 自我评价: 2008年****专业毕业，英语听说读写无障碍、日语读无障碍。 13年大数据开发测试运维经验；熟悉数据仓库建设方法论，熟悉大数据架构理论。 掌...

Spark是一个大数据领域统一数据分析框架， 速度快，使用简单，通用性，可以运行任何地方。

MongoDB的使用场景：传统数据库MySQL无法胜任的三高（High Performance， High Storage， High Scalability）场景。High Performance， 对数据库高并发读写。High Storage，对海量数据的高效率存储和访问需求。High Scalability&Availability，对数据库的高可扩展和高可用。具体场景：1）社交场景，使用MongoDB存储用户信息以及朋友圈信息地理位置等。2）游戏场景，使用MongoD

1）定义一个和domain，dao同级的目录utils，然后在该目录下创建class MyBatisUtils。package utils;import java.io.IOException;import java.io.InputStream;import org.apache.ibatis.io.Resources;import org.apache.ibatis.session.SqlSession;import org.apache.ibatis.session.SqlSessi

1）MySQL中创建表

1）创建Flume Agent配置文件 flume-file-logger.conf

1）创建Flume Agent配置文件 flume-telnet-logger.conf

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。...