第 27 节 实战需求分析(数据清洗[实时ETL])

最新推荐文章于 2023-08-21 15:15:52 发布
最新推荐文章于 2023-08-21 15:15:52 发布
阅读量877 收藏 5
点赞数 1
分类专栏： Flink入门实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/104778217
版权

上篇：第 26 节 Flink Kafka-Connector详解

应用场景分析

数据清洗【实时ETL】
数据报表
在这里插入图片描述

需求分析

针对算法产生的日志数据进行清洗拆分
1：算法产生的日志数据是嵌套json格式，需要拆分打平
2：针对算法中的国家字段进行大区转换
3：最后把不同类型的日志数据分别进行存储

架构图

在这里插入图片描述

上代码实际操作（Java）

1、创建maven父工程

在这里插入图片描述
在这里插入图片描述
父工程创建ok
在这里插入图片描述

2、创建子模块DataClean

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
子工程DataClean，创建ok
在这里插入图片描述
在父工程FlinkProj的pom文件添加依赖：
为方便管理，父工程的pom文件写版本，它会自动集成，我们就可以在子模块的pom文件不需要写版本号

   <dependencyManagement>

        <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.6.1</version>
            <!-- provided在这表示此依赖只在代码编译的时候使用，运行和打包的时候不使用 -->
            <!--<scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>1.6.1</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>1.6.1</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>1.6.1</version>
            <!--<scope>provided</scope>-->
        </dependency>

        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_2.11</artifactId>
            <version>1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
            <version>1.6.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
            <version>1.6.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.11.0.3</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.25</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.25</version>
        </dependency>

            <!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
            <dependency>
                <groupId>redis.clients</groupId>
                <artifactId>jedis</artifactId>
                <version>2.9.0</version>
            </dependency>

   <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
            <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>fastjson</artifactId>
                <version>1.2.45</version>
            </dependency>

        </dependencies>

    </dependencyManagement>

  <!---打包的代码 -->
    <build>
        <plugins>
            <!-- 编译插件-->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.6.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <!-- scala编译插件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.1.6</version>
                <configuration>
                    <scalaCompatVersion>2.11</scalaCompatVersion>
                    <scalaVersion>2.11.12</scalaVersion>
                    <encoding>UTF-8</encoding>
                </configuration>
                <executions>
                    <execution>
                        <id>compile-scala</id>
                        <phase>compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>test-compile-scala</id>
                        <phase>test-compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <!-- 打jar包插件(会包含所有依赖) -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <!-- 可以设置jar包的入口类(可选) -->
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

（4）在子模块DataClean的pom文件引入依赖：
不需要写版本号，它会集成父工程的pom文件

         <dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>

    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>

    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_2.11</artifactId>

    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.11</artifactId>

    </dependency>

    <dependency>
        <groupId>org.apache.bahir</groupId>
        <artifactId>flink-connector-redis_2.11</artifactId>

    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
    </dependency>

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
    </dependency>

    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
    </dependency>

    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
    </dependency>

        <!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
        </dependency>
        
 <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>

    </dependencies>

3、代码编写

在这里插入图片描述

DataClean.java

package xuwei.tech;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.CoFlatMapFunction;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011;
import org.apache.flink.streaming.util.serialization.KeyedSerializationSchemaWrapper;
import org.apache.flink.util.Collector;
import xuwei.tech.source.MyRedisSource;

import java.util.HashMap;
import java.util.Properties;

/**
 * 创建kafka topic 命令：
 * bin/kafka-topics.sh --create --topic allData -zookeeper flink102:2181 --partitions 5 --replication-factor 1
 * bin/kafka-topics.sh --create --topic allDataclean -zookeeper flink102:2181 --partitions 5 --replication-factor 1
 * 
 * 数据清洗需求
 *
 * 组装代码
 */
public class DataClean {
    public static void main(String[] args)throws Exception {
        //创建flink运行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //配置checkpoint配置
        env.enableCheckpointing(60000);
        env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
        env.getCheckpointConfig().setMinPauseBetweenCheckpoints(30000);
        env.getCheckpointConfig().setCheckpointTimeout(10000);
        env.getCheckpointConfig().setMaxConcurrentCheckpoints(1);
        env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

        //指定kafkasource
        String topic="allData";
         Properties prop= new Properties();
         prop.setProperty("bootstarp.servers","flink102:9092");
         prop.setProperty("group.id","conl");

         FlinkKafkaConsumer011<String> myConsumer = new FlinkKafkaConsumer011<String>(topic,new SimpleStringSchema(),prop);

         //获取kafka中的数据
        //{"dt":"2018-01-01 11:11:11","CountyCode":"US","data":{"type":"s1","score":0.3,"level":0.1,"level":"0"}
         DataStreamSource<String> data = env.addSource(myConsumer);

         //最新的国家码和大区的映射关系
         DataStreamSource<HashMap<String, String>> mapData = env.addSource(new MyRedisSource());

         DataStream<String> redisData = data.connect(mapData).flatMap(new CoFlatMapFunction<String, HashMap<String, String>, String>() {
            //存储国家和大区的映射关系
            private HashMap<String, String> allMap = new HashMap<String, String>();


            //flatMap1处理的是kafka中的数据
            @Override
            public void flatMap1(String value, Collector<String> out) throws Exception {
                JSONObject jsonObject = JSONObject.parseObject(value);
                String dt = jsonObject.getString("dt");
                String counttryCode = jsonObject.getString("counttryCode");
                //获取大区
                String area = allMap.get(counttryCode);
                JSONArray jsonArray = jsonObject.getJSONArray("data");
                for (int i = 0; i < jsonArray.size(); i++) {
                    JSONObject jsonObject1 = jsonArray.getJSONObject(i);
                    jsonObject1.put("area", area);
                    jsonObject1.put("dt", dt);
                    out.collect(jsonObject1.toJSONString());
                }
            }

            //flatMap2处理的是redis返回的map类型的数据
            @Override
            public void flatMap2(HashMap<String, String> value, Collector<String> out) throws Exception {
                this.allMap = value;
            }
        });
         String outTopic="allDataClean";
         Properties outprop = new Properties();
          outprop.setProperty("bootstrap.servers", "flink102:9092");
         FlinkKafkaProducer011<String> myProducer = new FlinkKafkaProducer011<>(outTopic, new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()), outprop, FlinkKafkaProducer011.Semantic.EXACTLY_ONCE);
        redisData.addSink(myProducer);
        env.execute("DataClean");

    }
}

MyRedisSource.java

package xuwei.tech.source;

import org.apache.flink.streaming.api.functions.source.SourceFunction;


import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.exceptions.JedisConnectionException;

import java.util.HashMap;
import java.util.Map;

/**
 * redis中进行数据初始化
 *
 * hset oreas AREA_US US
 * hset oreas AREA_CT TW,HK
 * hset oreas AREA_AR PK,KW,SA
 * hset oreas AREA_IN IN
 *
 * 在redis中保存的国家和大区的关系
 *
 * 需要把大区和国家的对应关系组装成java的hashmap
 */
public class MyRedisSource implements SourceFunction<HashMap<String,String>> {
    private Logger logger = LoggerFactory.getLogger(MyRedisSource.class);
    private final long SLEEP_MILLION=60000;
    private boolean isRunning=true;
    private Jedis jedis=null;

    @Override
    public void run(SourceContext<HashMap<String, String>> ctx) throws Exception {

        this.jedis = new Jedis("flink102", 6379);

         //存储所有国家和大区的对应关系
         HashMap<String, String> KeyValueMap = new HashMap<>();
        while (isRunning){
            try {
                KeyValueMap.clear();
                //把数据取出来
                Map<String, String> areas = jedis.hgetAll("areas");
                for (Map.Entry<String,String>entry:areas.entrySet()) {
                    String key=entry.getKey();
                    String value = entry.getValue();
                    String[] splits = value.split(",");
                    for (String split:splits) {
                        KeyValueMap.put(split,key);
                    }
                }
                if(KeyValueMap.size()>0){
                  ctx.collect(KeyValueMap);
                }else {
                    logger.warn("从redis中获取的数据为空！！！");
                }
                Thread.sleep(SLEEP_MILLION);
            } catch (JedisConnectionException e) {   //捕获连接异常
                logger.error("redis链接异常，重新获取链接",e.getCause());
                jedis = new Jedis("flink102", 6379);
            }catch (Exception e){
                logger.error("source 数据源异常",e.getCause());
            }
        }
    }

    @Override
    public void cancel() {
        isRunning=false;
        if(jedis!=null){
         jedis.close();
        }
    }
}

4、启动虚拟机的redis、kafka服务

//kafka服务启动起来了
[root@flink102 ~]# jps
11984 Kafka
12336 Jps
6628 QuorumPeerMain
//redis服务启动起来了
[root@flink102 ~]# redis-cli
127.0.0.1:6379>

5、创建kafka的topic

可以采用历史创建提示：history |grep topic
在这里插入图片描述

//创建kafka的topic，名为allData
[root@flink102 kafka-2.11]# bin/kafka-topics.sh --create --topic allData -zookeeper flink102:2181 --partitions 5 --replication-factor 1
Created topic "allData".
[root@flink102 kafka-2.11]# 

//创建kafka的topic，名为allDataclean
[root@flink102 kafka-2.11]# bin/kafka-topics.sh --create --topic allDataclean -zookeeper flink102:2181 --partitions 5 --replication-factor 1
Created topic "allDataclean".
[root@flink102 kafka-2.11]#

6、redis的数据初始化

//redis的数据初始化
127.0.0.1:6379> hset areas AREA_US US
(integer) 1
127.0.0.1:6379> hset areas AREA_CT TW,HK
(integer) 1
127.0.0.1:6379> hset areas AREA_AR PK,KW,SA
(integer) 1
127.0.0.1:6379> hset areas AREA_IN IN
(integer) 1
127.0.0.1:6379> 

//查看数据
127.0.0.1:6379> hgetall areas
1) "AREA_US"
2) "US"
3) "AREA_CT"
4) "TW,HK"
5) "AREA_AR"
6) "PK,KW,SA"
7) "AREA_IN"
8) "IN"
127.0.0.1:6379>

7、创建生产者的工具类

在这里插入图片描述

kafkaProducer.java

package xuwei.tech.util;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Properties;
import java.util.Random;

/**
 * Created by xuwei.tech on 2018/11/6.
 */
public class kafkaProducer {

    public static void main(String[] args) throws Exception{
        Properties prop = new Properties();
        //指定kafka broker地址
        prop.put("bootstrap.servers", "flink102:9092");
        //指定key value的序列化方式
        prop.put("key.serializer", StringSerializer.class.getName());
        prop.put("value.serializer", StringSerializer.class.getName());
        //指定topic名称
        String topic = "allData";

        //创建producer链接
        KafkaProducer<String, String> producer = new KafkaProducer<String,String>(prop);

        //{"dt":"2018-01-01 10:11:11","countryCode":"US","data":[{"type":"s1","score":0.3,"level":"A"},{"type":"s2","score":0.2,"level":"B"}]}

        //生产消息
        while(true){
            String message = "{\"dt\":\""+getCurrentTime()+"\",\"countryCode\":\""+getCountryCode()+"\",\"data\":[{\"type\":\""+getRandomType()+"\",\"score\":"+getRandomScore()+",\"level\":\""+getRandomLevel()+"\"},{\"type\":\""+getRandomType()+"\",\"score\":"+getRandomScore()+",\"level\":\""+getRandomLevel()+"\"}]}";
            System.out.println(message);
            producer.send(new ProducerRecord<String, String>(topic,message));
            Thread.sleep(2000);
        }
        //关闭链接
        //producer.close();
    }

    public static String getCurrentTime(){
        SimpleDateFormat sdf = new SimpleDateFormat("YYYY-MM-dd HH:mm:ss");
        return sdf.format(new Date());
    }

    public static String getCountryCode(){
        String[] types = {"US","TW","HK","PK","KW","SA","IN"};
        Random random = new Random();
        int i = random.nextInt(types.length);
        return types[i];
    }


    public static String getRandomType(){
        String[] types = {"s1","s2","s3","s4","s5"};
        Random random = new Random();
        int i = random.nextInt(types.length);
        return types[i];
    }

    public static double getRandomScore(){
        double[] types = {0.3,0.2,0.1,0.5,0.8};
        Random random = new Random();
        int i = random.nextInt(types.length);
        return types[i];
    }

    public static String getRandomLevel(){
        String[] types = {"A","A+","B","C","D"};
        Random random = new Random();
        int i = random.nextInt(types.length);
        return types[i];
    }


}

直接运行生产者工具类kafkaProducer，控制台打印数据信息
在这里插入图片描述
以上控制台说明数据取出来了

8、虚拟机监控allDataClean

[root@flink102 kafka-2.11]# bin/kafka-console-consumer.sh --bootstrap-server flink102:9092 --topic allDataclean

在resource目录创建logger配置文件
在这里插入图片描述

log4j.properties

log4j.rootLogger=info,stdout

log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n

启动程序
在这里插入图片描述
在这里插入图片描述

江湖侠客
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
小白学数据分析——数据清洗
qq_29259089的博客
03-21 4859
数据分析中的数据清洗 数据清洗的自我理解 数据分析的过程中，在进行具体的数据处理、分析和可视化之前，要对数据进行数据的清洗，数据清洗在我的理解就是把数据中的“脏东西”处理掉。这些需要进行处理的数据大概分成一下几种：缺失值、重复值、异常值和数据类型有误的数据。 在我看来数据清洗步骤如下： 【Tips】 1.数据清洗时优先进行缺失值、异常值和数据类型转换的操作，最后进行重复值的处理。 2.在对缺失值...
大众点评ETL数据传输平台需求用例分析
lvzhuyiyi的博客
07-06 4024
1.1 功能分析 1.1.1 调度系统                 图 3.1  调度系统用例图 调度系统负责ETL数据传输平台的运行、监控和资源分配（如图3.1）。 1) 定时调度。ETL任务无论是抽取还是转换类型都必须每天在特定时间（一般是晚上）被调度起来完成当天增量数据的传输，所以一般ETL传输平台必须有定时调度的功能。 2) 支持集群和并发。现在工业生产环境单机性能已经不能
数据分析----数据清洗
qq_54730312的博客
11-24 3752
随着科技的不断发展，数据在我们生活中越来越多，面对繁杂的数据，我们根本无从下手，本文就简单的介绍一下数据分析中的数据清洗。以上就是今天总结的数据清洗的主要4个步骤，想要学习数据分析的伙伴们抓紧时间吧，动起来！！！
数据仓库ETL工具箱——实时ETL系统
will001449的博客
08-17 1761
建立实时ETL数据仓库的解决方案需要理解不同的整合技术，这个领域体现了具有新技术、新方法、新词汇的全新理念。通过选择合适的实时ETL技术、特征、方法来指导专业实验数据仓库构建实时ETL的四个过程： 调研：实时数仓技术的状态、历史以及业务情况 描述：区分组织的实时需求的方式、方法 评估：针对实时报告以及整合服务机制，对每一个方法提供最合适的技术并进行分析 判定：按需求分类，通过选择技术途径以及方法论上指导ETL工作组 对于快速执行的垂直系统，数据仓库要完成决策任务，要给操作系统反馈丰富的信息，使这个系
【数据清洗】2012-数据清洗及其一般性系统框架
weixin_33852020的博客
01-02 172
  （１）准备。包括需求分析、信息环境分析、任务定义、方法定义、基本配置，以及基于以上工作获得数据清洗方案等。通过需求分析明确信息系统的数据清洗需求，通过信息环境分析明确数据所处的信息环境特点，任务定义要明确具体的数据清洗任务目标，方法定义确定合适的数据清洗方法，基本配置完成数据接口等的配置，要形成完整的数据清洗方案，并整理归档。      （２）检测。包括检测必需的数据预处理，并进行相似重...
SQL-基于sql实现的数据分析项目实战.zip
03-09
本项目实战主要聚焦于如何利用SQL进行高效的数据提取、转换和加载（ETL），以及进行深度的数据分析。以下是对这个主题的详细阐述： 一、SQL基础 SQL是用于管理关系数据库的标准语言，它包括数据查询、更新、插入和...
大数据开发实战案例：构建高效数据分析平台.zip
最新发布
04-04
通过ETL工具，我们可以清洗、标准化和预处理来自不同源头的数据，使其适应统一的分析模型。 接着，进入数据处理阶段。这一阶段通常涉及到数据清洗、数据整合和数据转换。数据清洗是去除无效或错误的数据，以提高...
数据接入及清洗相关资料.zip
10-08
为了深入了解和实践数据接入、清洗和ETL，可以参考压缩包中的资料，它们涵盖了理论知识、实战技巧和最佳实践，有助于提升个人在大数据领域的专业技能。通过学习这些资料，你可以了解到如何设计和实施高效的数据接入...
数据清洗数据源.zip
07-03
数据清洗是数据分析过程中的关键步骤，它涉及到对原始数据进行检查、处理和转换，以确保数据的质量和准确性，为后续的数据分析和挖掘提供可靠的基础。在这个"数据清洗数据源.zip"压缩包中，包含了用于教育和培训...
《ETL数据整合和处理》教学大纲.docx
12-14
通过这门课程，学生不仅能够理解和运用ETL的核心技术，还能为未来从事数据处理、数据分析和数据挖掘等工作打下坚实的基础。课程的教学方法结合了理论讲解和实践操作，确保学生能够在理论与实践中同步提升，从而更好...
apache日志hadoop大数据分析项目：清洗数据核心功能解说及代码实现
11-23
apache日志hadoop大数据分析项目：清洗数据核心功能解说及代码实现
ETL_project:13. ETL集团项目
03-07
ETL项目 文件夹/文件 文件夹：“ data_raw”（所有最初下载的.csv文件和我们创建的JSON文件） 文件夹：“资源”（其他资源，如照片） 文件：“ ETL项目报告.pdf”（整个过程的描述） 文件：“ main.ipynb”（包含我们所有代码的Jupyter笔记本） 文件：“ schema.sql”（显示PostgreSQL中表模式的文档） 文件：“ README.md”（此文件） 会员 西尔维亚·布罗德本特（Sylvia Broadbent） 丹尼尔·索布拉尔 约翰·宾利（John Bingley） 使用的数据集 说明/概述 作为一家小型数据分析公司，我们的客户向我们提出了一个紧急项目，以收集有关今年的乐高玩具的信息。 它们是乐高积木制造过程的一部分； 并希望进行预测性数据建模，以根据今年的信息找出明年将有更多需求的材料，以便他们可以优化其制造Craft.
ETL分析
wangjunji34478的专栏
04-17 2703
本章的内容是数据整合工作的起点，本章将详细解释3种主要的数据整合方式不同点和相似点。这3种数据的整合方式分别是etl,elt和eii。为了能够全面理解数据仓库和数据整合，我们先来看看事务数据库系统和分析型系统不同不处。 1.1 OLTP和数据仓库对比 人们通常的第一个问题是事务系统和商业智能系统的区别，商业智能系统通常也被称为决策支持系统dss,一个独立的事务系统通常也被称为在线事务处理系统 事务系统需要能哆快速地定位到一条记录。当一次需要获取多条记录，多条记录通常使用唯一的健值加以识别。例如订单系..
今日指数项目之ETL数据业务开发(需求说明)【八】
Maynor的博客
04-14 1106
ETL数据业务开发：离线业务需求说明！
数据清洗实例分析
热门推荐
hello小工的专栏
03-17 1万+
DataEye:数据清洗实例分析 发表于2015-01-29 14:32| 2894次阅读| 来源资讯| 3 条评论| 作者资讯 摘要：随着信息技术的快速发展，各个领域都在每时每刻以惊人的速度产生出各式各样的规模巨大的数据信息，人类也在工作生活的方方面面接触到越来越多的数据信息。然而，人类对数据信息理解的匮乏与数据爆炸的趋势显得并不对称，人类在努力将数据信息转化为有
大数据项目——互联网精准营销——数据清洗
weixin_30633405的博客
09-08 596
使用kettle进行数据清洗： 　1.新建转换去除手机销售信息表的重复记录　　要求：去除该字段中的所有空格，方便后续聚合统计，字母统一大小写，去除该字段中的所有特殊字符（各种标点符号） 这里可选用排序加去重组件，也可用哈希去重。然后用字符串操作去括号，大小写统一。字符串替换的正则表达式去除特殊字符。 2.新建转换去除用户评论...
python数据分析：数据清洗的关键步骤与技巧
m0_59236127的博客
08-21 537
这些代码示例涵盖了数据清洗的关键步骤和技巧，包括处理缺失值、处理重复值、格式转换、异常值处理、数据类型统一、处理文本数据、数据标准化、处理异常数据、数据采样和数据合并。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。处理缺失值：识别和处理数据中的缺失值，可以使用fillna()函数将缺失值替换为特定的值或使用dropna()函数删除包含缺失值的行或列。处理异常数据：根据业务规则或领域知识，处理不符合预期的数据。
ETL测试参考文档
shahaizimxm的专栏
09-19 3749
<br />ETL测试参考文档<br /> <br />本文档主要介绍ETL测试的流程，以及一般的项目情况来说明ETL的测试方法。<br />ETL测试流程图<br /><br /><br />测试环节<br />1、需求分析<br />熟悉业务流程和业务规则，根据需求分析出源表与目标表以及之间的mapping关系，解析出业务的数据流图：<br /><br />1、测试分析<br />测试点：<br />ETL常规检查：<br />1.ETL脚本是否有运行错误，脚本运行时间(看执行计划)<br />2.ET
数据清洗
Be Young，Be Curious，Then You'll be Lucky!
04-28 1895
数据清洗我们拿到的数据通常并不那么完美，像这样一份“脏乱差”数据需要如何清洗呢？ excel下载地址：http://pan.baidu.com/s/1nvsMQJB在清洗之前，首先需要明确我们清洗的目标，例如图中的数据： 老板的期望是——需要一份电话号码清单。那么，我们只需要保留“ID”、“姓名”、和“电话号码”就足够了。其中ID作为这个人的唯一标识符存在。让我们一起看看，这个数据涉及以下特点：
Beeload快速入门教程：ETL与数据同步实战
"Beeload快速入门教程，涵盖了ETL工具的使用，包括数据同步、文件同步、邮件通知、工作流和数据分析等核心功能。由北京灵蜂纵横软件有限公司开发的Beeload是一款集数据抽取、清洗、转换和装载于一身的数据整合软件，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值