Spark2.4.8编写WordCount程序（Java版） 编写WordCount程序（Java版）步骤创建maven工程添加pom.xml依赖（同上一个实验所需要的依赖）在src下新建包com.niit.wc编写代码，代码如下：运行，并查看结果
Spark2.4.8编写WordCount程序（Scala版） Spark2.4.8编写WordCount程序（Scala版）一、本地开发运行测试二、打包上传至远程服务器一、本地开发运行测试新建maven工程在pom.xml中添加spark相关依赖：<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifact
Spark2.4.8 在IDEA中编程问题 Spark2.4.8 在IDEA中编程问题一、问题一一、问题一描述：Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.elapsedMillis()J原因：Spark2.4.8没有集成Google Guava库或者Guava版本过高导致(16.0版本已经删除了elapsedMillis方法)解决：有两种方法：方法一：需要在pom.xml中添加Google Guava库
Spark Shell 操作RDD Spark Shell 操作RDD一、Spark Shell 简述二、RDD创建方式三、RDD之常见算子一、Spark Shell 简述【Spark-shell】是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用- scala编写spark程序。【两种启动Spark Shell】本地模式启动：bin/spark-shell集群模式启动：如：spark-shell --master spark://spark81:7077 --executor-m
Scala语言数据类型与集合等基本操作 Scala语言数据类型与集合1、常见数据类型2、Scala变量的申明和使用3、Scala的函数和方法的使用4、Scala的条件表达式5、Scala的循环6、Scala的Lazy值（懒值）7、异常的处理8、Scala中的数组9、映射10、元组（Tuple）1、常见数据类型Scala的常用数据类型注意：在Scala中，任何数据都是对象。例如：数值类型： Byte，Short，Int，Long，Float，Double等Byte: 8位有符号数字，从-128 到 127Short: 1
Scala开发环境配置 Scala安装部署与运行演示1、下载安装2、 REPL方式运行Scala程序2、IDE中配置与开发Scala程序1、下载安装 安装 JDK（建议安装jdk1.8，如果安装高版本的请先卸载掉或者你自己配置） 下载 Scala： http://www.scala-lang.org/download/ 安装 Scala：双击-下一步即可 设置环境变量： SCALA_HOME 和 PATH 路径 （可选，因为安装时自动将其添加到PATH路径下） 验证 Scala2、 REPL方式运行S
Spark Standalone HA（高可用）模式 Spark Standalone HA（高可用）模式一、HA架构说明二、主机规划三、Zookeeper的安装四、Spark的安装五、运行测试一、HA架构说明二、主机规划主节点从节点hadoop002，hadoop005hadoop003，hadoop004Zookeeperhadoop002 ，hadoop003，hadoop004三、Zookeeper的安装请参考Zookeeper的集群安装四、Spark的安装安装部署，请
Zookeeper的集群安装 Zookeeper的集群安装一、集群的规划二、Zookeeper配置三、Zookeeper启动一、集群的规划Zookeeper集群：192.168.157.112 （bigdata112）192.168.157.113 （bigdata113）192.168.157.114 （bigdata114） 二、Zookeeper配置在主节点（bigdata112）上配置ZooKeeper配置/training/zookeeper-3.4.5/conf/zoo.cfg文件dataDi
Spark On Yarn环境部署测试（standalone） Spark On Yarn环境部署测试（使用伪分布）一、前提工作二、配置Spark On Yarn三、运行Spark Pi案例一、前提工作安装了Hadoop伪分布，可以参考：Hadoop2.7.3环境搭建之伪分布式安装spark伪分布，可参考：Spark Standalone单机模式环境搭建二、配置Spark On Yarn修改yarn-site.xml,添加如下信息<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true --&
Spark Standalone集群安装及测试案例 Spark Standalone集群安装及测试案例一、实验环境二、总体步骤三、详细步骤一、实验环境二、总体步骤准备至少3台主机修改主机名称及IP与主机名的映射关系（3台主机都需要操作）做免密登录操作（3台主机都需操作），如已做过，则可删除重新生成在作为master节点的主机上对spark进行配置需要将master节点上配置好的spark环境拷贝到worker主机上启动spark集群（在主机节点上执行start-all.sh）检查是否部署成功，如下步骤：检查进程：主节点：Mas
Spark Standalone单机模式案例测试 Spark Standalone单机模式案例测试一、Spark自带程序说明二、基于Spark的蒙特卡罗求PI源码（Scala语言）三、运行程序，查看结果一、Spark自带程序说明示例程序：$SPARK_HOME/examples/jars/spark-examples_2.11-2.1.0.jar示例程序源码：$EXAMPLE_HOME/examples/src/main，有Java、Scala等等等本实验室需要操作的案例：蒙特卡罗求PI蒙特卡罗算法解释：蒙特·卡罗方法（Monte C
Spark Standalone单机模式环境搭建 Spark Standalone单机模式环境搭建一、实验环境二、准备工作三、安装部署一、实验环境JDK版本：jdk1.8.0_301Spark版本：2.4.8Linux操作系统：CentOS7.5二、准备工作JDK安装，请参考《Hadoop2.7.3环境搭建之伪分布式》Spark安装包已上传至目录/tools（需事先创建）三、安装部署解压安装：进入tools下，执行如下命令：tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /trai
Spark3.1.2 快速入门 Spark3.1.2 快速入门一、特别说明1.1 **Spark3.1.2编程抽象Dataset**1.2 **Spark3.1.2安全性说明**1.3 **环境说明**二、Spark Shell 交互式操作一、特别说明1.1 Spark3.1.2编程抽象Dataset在Spark 2.0之前，Spark的主要编程接口是RDD。在Spark2.0之后，RDD被Dataset所取代，Dataset像RDD一样是强类型的，但在底层有更丰富的优化。RDD接口仍然受到支持，您可以在RDD编程指南中获
Spark及其生态简介 Spark及其生态简介一、Spark简介二、Spark Core简介三、Spark SQL简介四、Spark Streaming五、Spark MLlib六、GraphX七、集群管理器八、Spark的用户和用途一、Spark简介Spark 是一个用来实现快速而通用的集群计算的平台，官网上的解释是：Apache Spark™是用于大规模数据处理的统一分析引擎。 Spark 适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理等，对外提供了十分丰富的API接口，
与你们一起的那些时光 年年岁岁花相似，岁岁年年人不同。恍惚间，三年稍纵即逝。白驹过隙的时光，或美如昙花一现，或苦似哑巴吃黄连，或甜如琼浆玉露……虽夹杂有酸甜苦辣咸，亦伴随着五彩缤纷。一转眼，你们完成了四年大学最后的一次流程：正冠拨穗，你们终于利毕业了！17级大数据专业的同学们，祝福你们！ 陆陆续续看到你们一个一个离校的身影，彷佛看到我当年的离线的情形，有那么一丝不舍，有那么一丝高兴，也有那么一丝淡淡的忧伤。与你们相处的那一段时光，虽短亦长，它见证着我们各自的成长，也见证着我们各自的喜怒哀乐！一切...
Kettle5.4利用mapreduce格式化日志（预处理） Kettle5.4格式化日志（预处理）实验环境及配置一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果实验环境及配置版本：hadoop-2.7.3模式：伪分布式网络模式：NAT虚拟机ip：192.168.215.135（读者根据自己得实际情况修改）虚拟机主机名称：hadoop001虚拟机内存：4Gkettle版本5.4（由于虚拟机内存有限，尽量使用低版本的）kettle环境安装及配置（参考之前的博客）一、任务说明测试数据：电商日志weblogs_r
MapReduce之日志分析 MapReduce之日志分析一、相关说明二、测试数据三、编程思路四、实现步骤五、打包上传到集群中运行(仅供参考，自行修改)一、相关说明要求：对电商访问日志进行清洗，求出每种商品或者url的访问量（PV）二、测试数据测试数据如下，部分内容如下：niit110,192.168.215.131 - - [28/May/2019:18:11:44 +0800] "GET /shop/detail.html?id=402857036a2831e001kshdksdsdk89912 HTTP/1.0"
Kettle5.4统计各部门工资总额 Kettle5.4统计各部门工资总额实验环境及配置一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果实验环境及配置版本：hadoop-2.7.3模式：伪分布式网络模式：NAT虚拟机ip：192.168.215.135（读者根据自己得实际情况修改）虚拟机主机名称：hadoop001虚拟机内存：4Gkettle版本5.4（由于虚拟机内存有限，尽量使用低版本的）kettle环境安装及配置（参考之前的博客）一、任务说明利用Kettle设计实现求出各个部分员
MapReduce之倒排索引 MapReduce之倒排索引一、相关说明二、测试数据三、编程思路四、实现步骤五、打包上传到集群中运行(仅供参考，自行修改)一、相关说明倒排列表概念 ：倒排列表用来记录有哪些文档包含了某个单词。一般在文档集合里会有很多文档包含某个单词，每个文档会记录文档编号（DocID），单词在这个文档中出现的次数（TF）及单词在文档中哪些位置出现过等信息，这样与一个文档相关的信息被称做倒排索引项（Posting），包含这个单词的一系列倒排索引项形成了列表结构，这就是某个单词对应的倒排列表。图1是倒排列表的示意
kettlet5.4提交MapReduce程序出现log4j:ERROR setFile(null,true) call failed.问题解决 @[TOC](kettlet5.4提交MapReduce程序出现log4j:ERROR setFile(null,true) call failed.问题解决)一、问题描述当在kettle中设计好mapreduce程序后，运行提交程序到Hadoop集群，在kettle这边提升都是执行成功的，但是在Hadoop的yarn web页面（即访问hadoop001:8088端口）会看到程序一直处于RUNNING状态，查看日志后，发现如下的错误：log4j:ERROR setFile(null,true) c
MapReduce之数据库表输入 MapReduce之数据库表输入一、需求说明二、测试数据三、编程思路四、实现步骤五、打包上传到集群中运行(仅供参考，自行修改)一、需求说明说明：直接从MySQL表中读取数据，将其作为MapReduce的输入源要求：要求：利用MR直接读取emp表中的数据，并统计出各个部门的工资之和。二、测试数据员工信息表【emp】表创建表的SQL语句：/*Navicat MySQL Data TransferSource Server : local-mysqlSource S
sqoop之import之使用指定的数据文件格式 sqoop之import之使用指定的数据文件格式一、前置工作二、测试数据三、案例演示一、前置工作参考：sqoop之import入门案例汇总相关说明：Hadoop支持多种文件格式，其中有种是二进制的格式的，如SequenceFile和Avro，针对这两种格式的文件，只需配置参数即可：–as-sequence–as-avrodatafile二、测试数据请参考sqoop之import之部分数据导入和密码文件三、案例演示案例一： 使用指定的数据文件格式SequenceFi
sqoop之import之部分数据导入和密码文件 sqoop之import之部分数据导入和密码文件一、前置工作二、测试数据三、案例演示一、前置工作参考：sqoop之import入门案例汇总二、测试数据在MySQL中创建emp表，建表语句及数据如下：/*Navicat MySQL Data TransferSource Server : local-mysqlSource Server Version : 50722Source Host : localhost:3306Source Da
sqoop之import导入MySQL数据时主键类型是varchar类型时的解决方案 sqoop之import导入MySQL数据时主键类型是varchar类型时的解决方案一、前置工作二、需求说明三、测试数据四、案例演示及解决措施一、前置工作需要安装MySQL并启动服务，本文MySQL版本为5.7需要安装Hadoop并启动服务，本文基于Hadoop伪分布式环境需要安装sqoop，本文sqoop版本为1.4.7二、需求说明需要利用sqoop的import命令将MySQL中表的数据导入到hdfs中三、测试数据MySQL中表创建语句及其测试数据：/*SQLyog U
sqoop之import入门案例汇总 sqoop之import入门案例汇总一、前置工作二、需求说明三、测试数据四、案例说明一、前置工作需要安装MySQL并启动服务，本文MySQL版本为5.7需要安装Hadoop并启动服务，本文基于Hadoop伪分布式环境需要安装sqoop，本文sqoop版本为1.4.7二、需求说明需要利用sqoop的import命令将MySQL中表的数据导入到hdfs中三、测试数据MySQL中表t_test_user：创表语句：CREATE TABLE `t_test_user` ( `
MapReduce之多输入 MapReduce之多输入一、需求说明二、测试数据三、编程思路四、实现步骤五、打包上传到集群中运行一、需求说明说明：多输入指的是数据源有多种格式的数据，比如在一个目录下有文本类型的和SequenceFile二进制格式的。 针对这种场景，需要使用MapReduce来分析数据。要求：改写wordcount程序的输入数据源，实现单词统计。二、测试数据序列化文件：下载地址文本文件可以使用之前的wordcount案例所使用的测试数据三、编程思路思路：1、有多少种数据格式，就需要编写与
MapReduce之自定义分组 MapReduce之自定义分组一、需求说明二、测试数据三、编程思路四、实现步骤五、打包上传到集群中运行一、需求说明说明： 分组是一种特殊的比较器，对key做比较，并进行归并，类似于合并同类项，也类似于SQL中的分组查询要求： 通过自定义分组比较器实现将emp.csv中的数据按照部门号分成三个分组，并显示出每组的人员名称，最终显示的结果格式如下所示：<10,CLARK1；KING1；MILLER1><20,CLARK2；KING2；MILLER2><30,CLA
MapReduce之Join多表查询实现 MapReduce之Join多表查询实现一、需求说明二、测试数据三、编程思路四、实现步骤五、打包上传到集群中运行一、需求说明要求：实现dept部门表和emp员工表关联查询即等值查询，实现如下SQL功能：select b.deptname,a.ename from emp a join dept b on a.deptno=b.deptno二、测试数据员工信息表：下载地址表字段说明：三、编程思路思路：1、在map阶段注意区分读取进来的数据所属哪张表，需做判断进行区分2、在
MapReduce之自定义分区 MapReduce之自定义分区一、需求说明二、测试数据三、编程思路四、实现步骤四、打包上传到集群中运行（参考如下步骤）一、需求说明要求：按照员工的部门号分为3个分区。二、测试数据员工信息表：下载地址表字段说明：三、编程思路思路：1、定义一个java类【EmpPartitioner】，实现【Partitioner】接口2、重写方法【getPartition】，编写分区规则3、只需写Mapper阶段，验证是否按照分区规则进行分区4、编写Job类，设置mapper及输入输出
MapReduce之序列化对象作为key来进行排序 MapReduce之序列化对象作为key来进行排序一、需求说明二、测试数据三、编程思路四、实现步骤四、打包上传到集群中运行（参考如下步骤）一、需求说明要求：按照员工的部门号排序select * from emp order by deptno;按照员工的部门号、薪水排序select * from emp order by deptno asc,sal desc;二、测试数据参考测试数据三、编程思路思路：1、定义一个java类，实现WritableComparable接口
Java对象排序 Java对象排序一、需求说明二、编程思路三、实现步骤一、需求说明要求：利用Java面向对象的方法实现两个Java对象的比较规则，从而按照规则实现对Java对象的排序。二、编程思路思路：1、定义一个java类，实现Comparable接口2、重写方法compare3、定义测试类，利用集合完成排序三、实现步骤在Idea或eclipse中创建maven项目在pom.xml中添加hadoop依赖<dependency> <groupId>org.
MapReduce之字符串排序 MapReduce之字符串排序一、需求说明二、测试数据三、编程思路四、实现步骤四、打包上传到集群中运行（参考如下步骤）一、需求说明要求：自定义一个字符串排序规则，实现字符串与默认的字典顺序相反。以wordcount程序为基础来改写，实现小写在前，大写在后的排序规则。二、测试数据参考MapReduce入门案例三、编程思路因在MapReduce中字符串数据类型默认是英文的26字母大小写排序的（大写在前，小写在后），因此我们只需要写一个类继承Text.Comparator，重写comp
MapReduce之Mapper源码 MapReduce之Mapper解析一、Mapper类源码二、Mapper类概述与作用三、Maps的数量四、Mapper的Context一、Mapper类源码Mapper源码如下，去除了类的注释，保留了方法上的注释package org.apache.hadoop.mapreduce;import java.io.IOException;import org.apache.hadoop.classification.InterfaceAudience;import org.apache.ha
MapReduce之基本数据类的排序 MapReduce之基本数据类的排序一、需求说明二、测试数据三、编程思路四、实现步骤四、打包上传到集群中运行一、需求说明要求：将各个部门降序排列，利用MapReduce实现将emp.csv中的部门倒序排列二、测试数据员工信息表：下载地址表字段说明：三、编程思路因在MapReduce中基本数据类型（如int）默认是升序排序的，因此我们只需要写一个类继承IntWritable.Comparator，重写compare方法即可四、实现步骤在Idea或eclipse中创建
MapReduce之利用对象序列化方式来求各个部门工资与奖金的总额 MapReduce之利用对象序列化方式来求各个部门工资与奖金的总额一、需求说明二、测试数据三、实现步骤四、打包上传到集群中运行一、需求说明MapReduce之利用对象序列化方式来求各个部门工资与奖金的总额二、测试数据员工信息表：下载地址表字段说明：三、实现步骤在Idea或eclipse中创建maven项目在pom.xml中添加hadoop依赖<dependency> <groupId>org.apache.hadoop</groupI
MapReduce之求各个部门工资的总和 MapReduce之求各个部门工资的总和一、需求说明二、测试数据三、实现步骤四、打包上传到集群中运行一、需求说明利用MapReduce程序求出各个部门工资的总和二、测试数据员工信息表：下载地址表字段说明：三、实现步骤在Idea或eclipse中创建maven项目在pom.xml中添加hadoop依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId&
Sqoop-1.4.7基本命令使用案例说明 Sqoop-1.4.7基本命令使用案例说明一、codegen二、eval三、list-databases四、list-tables一、codegen命令说明：将关系数据库表映射为一个Java文件、Java class类、以及相关的jar包案例演示：sqoop codegen --connect jdbc:mysql://192.168.76.1:3306/gvsys --username root --password 123456 --table goods_category --outdir
Sqoop-1.4.7安装 Sqoop-1.4.7安装一、准备工作二、安装配置三、验证一、准备工作预先安装Hadoop（伪分布即可），可参考Hadoop2.7.3环境搭建之伪分布式预先下载sqoop编译后安装包下载地址下载的版本：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz二、安装配置解压安装tar -zvxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /training/配置环境变量执行：vi ~/.bash_profile
Kettle5.4实现MapReduce入门程序WordCount Kettle8.2实现MapReduce入门程序WordCount一、任务说明二、设计转换和作业三、配置转换和作业四、运行转换和作业五、查看结果一、任务说明利用Kettle设计实现WordCount的MapReduce程序，完成对文本词频的统计。测试数据：I love GuiyangI love GuizhouGuiyang is the capital of Guizhu二、设计转换和作业设计mapper的转换设计reducer转换设计Job作业三、配置转换和作业
Hadoop开发环境准备及错误问题解决方法 Hadoop开发环境准备及错误问题解决方法一、开发环境准备二、错误问题及其产生原因三、错误问题解决方法一、开发环境准备Hadoop环境已经搭建好（伪分布式搭建好即可）eclipse或者idea已经下载安装好修改下idea中默认的maven镜像地址为阿里云的镜像地址，配置如下（1）启动idea，找到idea中maven默认的仓配置地址：（2）找到上述红色部分的文件夹后，查看下.m2下面有没有settings.xml，如果，你需要在.m2下面创建settings.xml文件，文件内容如下，你复
MapReduce入门案例 MapReduce概述及其Wordcount案例一、MapReduce简介二、MapReduce优缺点三、MapReduce核心思想四、MapReduce实例进程五、MapReduce编程规范六、WordCount入门案例实现一、MapReduce简介Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；其思想来源于Google的MapReduce。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并
Hadoop Rpc简单实现 Hadoop Rpc简单实现一、Hadoop RPC总体架构二、Hadoop Rpc特点三、实现步骤四、运行及实验结果一、Hadoop RPC总体架构序列化层序列化作用主要还是将结构化数据对象转换成字节流用于网络传输或写入持久存储。在RPC中，主要是将用户请求的参数或者服务器应答转化成字节流跨机器传输。函数调用层作用：定位所需调用的函数并执行函数。依赖：Java的反射与Java的动态代理模式来实现网络传输层作用：用于描述Client与Server之间的消息格式。依赖：Hadoop
Kettle8.2脚本组件之SQL脚本 Kettle8.2脚本组件之SQL脚本一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明SQL脚本组件说明：执行SQL脚本可以执行一个update语句，用来更新某个表中的数据。需求说明：从数据库表t_sys_users中获取所有的数据，把age的值都更改为18。测试数据源如下：读者需要先在MySQL中执行如下SQL语句初始化数据DROP TABLE IF EXISTS `t_sys_user`;CREATE TABLE `t_sys_user` (
Kettle8.2脚本组件之Java脚本 Kettle8.2脚本组件之Java脚本一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明Java脚本组件说明：java脚本就是使用java语言通过代码编程来完成对数据流的操作。内置了很多函数可以直接使用。java脚本主程序入口是processRow(）函数，其等价于main方法，processRow(）函数是用来处理数据流的场所！需求说明：从Excel中读取数据，生成newcode字段，如果code列为NULL就使用name列来替换，否则就在code列的后面加上1
Kettle8.2脚本组件之javascript脚本 Kettle8.2脚本组件之javascript脚本一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明脚本组件说明：脚本就是直接通过程序代码完成一些复杂的操作。javascript组件说明：javascript脚本就是使用javascript语言通过代码编程来完成对数据流的操作。JS中有很多内置函数，可以在编写JS代码时查看。存在两种不同的模式：不兼容模式和兼容模式不兼容模式：是默认的，也是推荐的,如下表达式：myVar = FieldName;直接使用字段名
Kettle8.2映射组件 Kettle8.2映射组件一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明映射组件说明：映射是用来定义子转换，便于封装和重用。主要组件有映射（子转换）、映射输入规则、映射输出规则等。映射（子转换）组件说明：映射（子转换）是用来配置子转换，对子转换进行调用的一个步骤。映射输入规则组件说明：映射输入规范是输入字段，由调用的转换输入。映射输出规则组件说明：映射输出规范是向调用的转换输出所有列，不做任何处理。需求说明：从数据库中的edu_cours
Kettle8.2统计组件之统计与分组 Kettle8.2统计组件之分组一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明统计组件说明：统计是提供数据的采样和统计功能。分组组件说明：分组是按照某一个或某几个进行分组，同时可以将其余字段按照某种规则进行合并。注意：分组之前数据应该进行排序！需求说明：从数据库中的sys_user表读取数据，按照部门号group进行分组统计，把结果保存到Excel。测试数据源和如下博文中的数据源是一样的：Kettle8.2查询组件之数据库查询二、设计转换
Kettle8.2应用组件之替换NULL和写日志 Kettle8.2应用组件之替换NULL和写日志一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明替换NULL组件说明：替换NULL值就是把null转换为其它的值。NULL值不好进行数据分析。写日志组件说明：写日志主要是在调试的时候使用，把日志信息打印到日志窗口。需求说明：从数据库中的sys_user表读取数据，将update_by字段为NULL的替换成admin，并将执行转换时的详细日志通过写日志组件向日志输出窗口打印出所有的数据信息。测试数据源和如
Kettle8.2流程组件之空操作和中止 Kettle8.2流程组件之空操作和中止一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明空操作组件说明：空操作一般作为数据流的终点。（在kettle的sample中经常使用，但是实际开发中很少使用）中止组件说明：中止是数据流的终点，如果有数据到这里，将会报错。一般用于校验数据的时候使用。需求说明：从数据库中的sys_user表读取数据，根据update_by字段来过滤非空和空的数据，若是update_by字段为空，则中止；不为空，则什么都不操作，即空操作。
Kettle8.2流程组件之过滤记录 Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明过滤记录组件说明：过滤记录让数据流从一路到两路。需求说明：从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。测试数据源和如下博文中的数据源是一样的：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入流程： 过滤记录输出：Excel输出、Microsoft Excel输出三、
Kettle8.2流程组件之Switch Case Kettle8.2流程组件之Switch case一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明流程组件说明：流程是转换里面的第六个分类。流程主要用来控制数据流程和数据流向。Switch case组件说明：Switch/case让数据流从一路到多路。需求说明：从数据库中的sys_user表读取数据，按照部门号将数据保存到不同文件中。测试数据源和如下博文中的数据源是一样的：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入
RPC及其简单实现 RPC及其简单实现一、RPC介绍1. 概念2. 通讯模式3. 通用架构4. 调用原理二、简单实现一、RPC介绍1. 概念远程过程调用（Remote Procedure Call，RPC）是一种常用的分布式网络通信协议，它允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无须额外地为这个交互作用编程。2. 通讯模式基于Client/Server客户机与服务器的交互模式3. 通用架构通用架构图通信模块基于请求-应答模式，在客户程序与服务程序间传递数据
Java网络编程小案例 Java网络编程小案例一、Java网络工具包简介二、InetAddress三、InetSocketAddress四、URL类五、Socket一、Java网络工具包简介Java为了可移植性，不允许直接调用操作系统，而是由java.net包来提供网络功能。Java虚拟机负责提供与操作系统的实际连接。下面我们来介绍几个java.net包中的常用的类。二、InetAddress作用封装计算机的IP地址和DNS（Domain Name System）但不封装端口信息。特点这个类没有构造方法。如果要
Hadoop2.7.3之数据压缩 Hadoop2.7.3之文件压缩一、概述二、MR支持的压缩编码三、各种压缩方式详解3.1 Gzip压缩3.2 lzo压缩3.3 snappy压缩3.3 bzip2压缩3.4 如何选择压缩格式？四、压缩/解压案例一、概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有Shuffle与Merge过程同样也面临着巨大的I
Kettle8.2连接组件之记录集连接 Kettle8.2连接组件之记录集连接一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明连接组件说明：连接是结果集通过关键字进行连接。记录集连接组件说明：记录集连接就像数据库的左连接、右连接、内连接、外连接。注意： 在进行记录集连接之前，应该要对记录集进行排序。需求说明：从数据库中的sys_user表和sys_dept中读取数据，进行内关键，左关联，右关联，全关联，把数据保存到Excel。测试数据源和如下博文中的数据源是一样的：Kettle8.2
Kettle8.2连接组件之记录关联（笛卡尔积） Kettle8.2连接组件之记录关联（笛卡尔积）一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明连接组件说明：连接是结果集通过关键字进行连接。记录关联（笛卡尔积）组件说明：记录关联就是对两个数据流进行笛卡尔积操作。需求说明：从数据库中的t_test_user表中读取数据，再从数据库中t_table_out_user表读取数据，将两表数据进行记录关联（笛卡尔积），保存到Excel中。测试数据源和如下博文中的数据源是一样的：Kettle8.2连接组件之
Kettle8.2连接组件之合并记录 Kettle8.2连接组件之合并记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明连接组件说明：连接是结果集通过关键字进行连接。合并记录组件说明：合并记录是用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。需要设置的参数：旧数据来源：旧数据来源的步骤新数据来源：新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。“identical
Kettle8.2查询组件之流查询 Kettle8.2查询组件之流查询一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明数据库查询组件说明：流查询在查询前把数据都加载到内存中，并且只能进行等值查询。需求说明：从A数据库中的sys_dept表中读取数据，在从从B数据库中sys_user表查询数据，然后根据dep_id获取dep_name，保存到Excel中。源表sys_user和sys_dept建表语句及数据参考如下博文：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入（两个步骤）
Kettle8.2查询组件之数据库连接 Kettle8.2查询组件之数据库连接一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明数据库查询组件说明：数据库连接可以执行两个数据库的查询，和单参数的表输入。需求说明：从A数据库中的sys_dept表中读取数据，根据dep_id从B数据库中sys_user表获取dep_name，保存到Excel中。源表sys_user和sys_dept建表语句及数据参考如下博文：Kettle8.2查询组件之数据库查询二、设计转换输入：表输入查询： 数据库连
Kettle8.2查询组件之数据库查询 Kettle8.2查询组件之数据库查询一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明数据库查询组件说明：数据库查询就是数据库里面的左连接。左连接就是两张表执行左关联查询，把左边的表数据全部查询出来。需求说明：从sys_user表中读取数据，根据dep_id从sys_dept表获取dep_name，保存到Excel中。源表sys_user和sys_dept建表语句如下：sys_user表:CREATE TABLE `sys_user` ( `use
Kettle8.2查询组件之HTTP Client Kettle8.2查询组件之HTTP Client一、相关说明二、设计转换三、转换配置四、运行转换五、结果分析一、相关说明查询组件说明：查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。需求说明：从网络上获取xml，解析出ProductID、ProductName、SupplierID、CategoryID，保存到数据库表中。数据源如下：请求地址：http://services.odata.org/V3/Northwind/Northwind.svc/
51阅读
0评论
0点赞
51阅读 0评论 0点赞 51阅读 0评论 0点赞 
