数据分析,数据挖掘基本算法_数据的基本分析

最新推荐文章于 2022-11-16 14:18:20 发布
最新推荐文章于 2022-11-16 14:18:20 发布
阅读量470 收藏
点赞数
文章标签： 数据库 数据挖掘 大数据 java 数据分析
原文链接：https://www.ibm.com/developerworks/opensource/library/ba-offloading-informix-data-spark-2/index.html
版权

数据分析,数据挖掘基本算法

在本系列教程的第1部分中，您学习了如何将单个表从Informix®移动到Spark，如何将整个数据库放入Spark，以及如何为Informix构建特定的方言。

第二部分的重点是分析，并从数据中获得基本见识。 绝对不需要Informix的知识。

企业就绪

您正在使用模仿企业数据库的Informix商店演示数据库。 该公司是一家运动器材批发商，主要销售给妈妈和流行商店。 本教程仅使用一个表：orders表。 订单表在Apache Spark中导入后的架构如下所示。

订单表架构

关于数据库图的小注释：在原始数据库中，有主键，外键，约束，本机数据类型（例如SERIAL ）。 所有这些都转换为Spark的数据类型和简化的结构。 不需要索引，约束或键。

出货时间

您的第一个练习是衡量从客户下订单到发货之间仓库需要多少时间。

当然，使用Spark进行此操作有点像使用核电站为您的手机加油，但是您会在Spark分析世界中逐步发现！

您可以从GitHub下载代码。

摘要并遍历代码

做好准备 第一次导入似乎有点不寻常，因为Spark有很多预定义的功能。 如有必要，org.apache.spark.sql.functions包中的函数列表是有用的参考。

在以下代码中，将datediff替换为*以导入所有功能。 但是，对于本教程，仅需要datediff 。 您可能已经知道它的作用。 

import static org.apache.spark.sql.functions.datediff;

其余的导入类与第1部分中使用的类相似。 在您遍历代码时，我喜欢共享导入。 如果我不这样做，使用同名来引用类可能会非常混乱。 

import java.sql.Connection;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.jdbc.JdbcDialect;
import org.apache.spark.sql.jdbc.JdbcDialects;

import net.jgp.labs.informix2spark.utils.Config;
import net.jgp.labs.informix2spark.utils.ConfigManager;
import net.jgp.labs.informix2spark.utils.InformixJdbcDialect;
import net.jgp.labs.informix2spark.utils.K;

启动应用程序的时间： 

public class TimeToShipApp {

  public static void main(String[] args) {
    TimeToShipApp app = new TimeToShipApp();
    app.start();
  }

  private void start() {

使用Spark的本地模式启动会话： 

SparkSession spark = SparkSession
        .builder()
        .appName("Time to Ship")
        .master("local")
        .getOrCreate();

即使该示例不需要它，注册Informix方言也是一个好习惯： 

JdbcDialect dialect = new InformixJdbcDialect();
    JdbcDialects.registerDialect(dialect);

您将获得Informix参数： 

Config config = ConfigManager.getConfig(K.INFORMIX);

创建要使用的所有表的列表（并将其添加到数据湖）。 在此示例中，这似乎有些过头，因为我们仅使用一个表，但在其他示例中重复使用了相同的思想（重复可以帮助您学习）。 

List<String> tables = new ArrayList<>();
    tables.add("orders");

如您所知，映射包含按键索引的值。 每个来自Spark的数据框都存储在一个映射中，其键是表的名称，值是包含数据的数据框。 

Map<String, Dataset<Row>> datalake = new HashMap<>();
    for (String table : tables) {
      System.out.print("Loading table [" + table
          + "] ... ");
      Dataset<Row> df = spark.read()
          .format("jdbc")
          .option("url", config.getJdbcUrl())
          .option("dbtable", table)
          .option("user", config.getUser())
          .option("password", config.getPassword())
          .option("driver", config.getDriver())
          .load();

      datalake.put(table, df);
      System.out.println("done.");
    }

至此，此执行的结果是： 

Loading table [orders] ... done.
We have loaded 1 table(s) in our data lake.

现在您可以利用数据了。 使用ordersDF数据ordersDF ： 

Dataset<Row> ordersDf = datalake.get("orders");

使用withColumn()方法创建一个新列。 这一新列是datediff（）Spark SQL函数的结果 。 该函数有两个参数：结束日期和开始日期。 

ordersDf = ordersDf.withColumn(
        "time_to_ship", 
        datediff(ordersDf.col("ship_date"), ordersDf.col("order_date")));

注意： 

datediff(ordersDf.col("ship_date"), ordersDf.col("order_date"))

与以下内容不同： 

datediff(ordersDf.col("order_date"), ordersDf.col("ship_date"))

您真正要做的是减法。 因此，将最大的数字（或更近的日期）放在第一位； 否则，您将拥有一个负数。

此时，如果您打印数据框的模式，您将看到： 

ordersDf.printSchema();
root
 |-- order_num: integer (nullable = false)
 |-- order_date: date (nullable = true)
 |-- customer_num: integer (nullable = false)
 |-- ship_instruct: string (nullable = true)
 |-- backlog: string (nullable = true)
 |-- po_num: string (nullable = true)
 |-- ship_date: date (nullable = true)
 |-- ship_weight: decimal(8,2) (nullable = true)
 |-- ship_charge: decimal(6,2) (nullable = true)
 |-- paid_date: date (nullable = true)
 |-- time_to_ship: integer (nullable = true)

看到您添加的列？ 它称为time_to_ship ，其类型是整数（并且可以为null ）。

如果您查看数据： 

ordersDf.show(10);
    System.out.println("We have " + ordersDf.count() + " orders");
+---------+----------+------------+--------------------+-------+----------+----------+-----------+-----------+----------+------------+
|order_num|order_date|customer_num|       ship_instruct|backlog|    po_num| ship_date|ship_weight|ship_charge| paid_date|time_to_ship|
+---------+----------+------------+--------------------+-------+----------+----------+-----------+-----------+----------+------------+
|     1001|2008-05-20|         104|express          ...|      n|B77836    |2008-06-01|      20.40|      10.00|2008-07-22|          12|
|     1002|2008-05-21|         101|PO on box; delive...|      n|9270      |2008-05-26|      50.60|      15.30|2008-06-03|           5|
|     1003|2008-05-22|         104|express          ...|      n|B77890    |2008-05-23|      35.60|      10.80|2008-06-14|           1|
|     1004|2008-05-22|         106|ring bell twice  ...|      y|8006      |2008-05-30|      95.80|      19.20|      null|           8|
|     1005|2008-05-24|         116|call before deliv...|      n|2865      |2008-06-09|      80.80|      16.20|2008-06-21|          16|
|     1006|2008-05-30|         112|after 10 am      ...|      y|Q13557    |      null|      70.80|      14.20|      null|        null|
|     1007|2008-05-31|         117|                null|      n|278693    |2008-06-05|     125.90|      25.20|      null|           5|
|     1008|2008-06-07|         110|closed Monday    ...|      y|LZ230     |2008-07-06|      45.60|      13.80|2008-07-21|          29|
|     1009|2008-06-14|         111|next door to groc...|      n|4745      |2008-06-21|      20.40|      10.00|2008-08-21|           7|
|     1010|2008-06-17|         115|deliver 776 King ...|      n|429Q      |2008-06-29|      40.60|      12.30|2008-08-22|          12|
+---------+----------+------------+--------------------+-------+----------+----------+-----------+-----------+----------+------------+
only showing top 10 rows
We have 23 orders

您可以在time_to_ship列中看到订单＃1006具有空值，因为它尚未发货。 当分析发货时间时，您会发现它不是Amazon Prime！

接下来，您将希望摆脱n​​ull值，但是数据帧是不可变的，这意味着数据无法更改。 要解决此问题，请创建一个新的数据框并排除您不喜欢的值。 是的，数据框不是SQL表，没有DELETE FROM 。 

Dataset<Row> ordersDf2 = ordersDf.filter(
        "time_to_ship IS NOT NULL");
    ordersDf2.printSchema();
    ordersDf2.show(5);
    System.out.println("We have " + ordersDf2.count()
        + " delivered orders");

  }
}

输出为： 

+---------+----------+------------+--------------------+-------+----------+----------+-----------+-----------+----------+------------+
|order_num|order_date|customer_num|       ship_instruct|backlog|    po_num| ship_date|ship_weight|ship_charge| paid_date|time_to_ship|
+---------+----------+------------+--------------------+-------+----------+----------+-----------+-----------+----------+------------+
|     1001|2008-05-20|         104|express          ...|      n|B77836    |2008-06-01|      20.40|      10.00|2008-07-22|          12|
|     1002|2008-05-21|         101|PO on box; delive...|      n|9270      |2008-05-26|      50.60|      15.30|2008-06-03|           5|
|     1003|2008-05-22|         104|express          ...|      n|B77890    |2008-05-23|      35.60|      10.80|2008-06-14|           1|
|     1004|2008-05-22|         106|ring bell twice  ...|      y|8006      |2008-05-30|      95.80|      19.20|      null|           8|
|     1005|2008-05-24|         116|call before deliv...|      n|2865      |2008-06-09|      80.80|      16.20|2008-06-21|          16|
+---------+----------+------------+--------------------+-------+----------+----------+-----------+-----------+----------+------------+
only showing top 5 rows
We have 22 delivered orders

但是等等，到底发生了什么？

Spark基于惰性评估的概念。 我认为这是当您要孩子做某事时：打扫房间，将衣服放在篮子里，将书放在书架上……通常，这些变化不会发生，除非您说出“ now”（有时声音会稍大一些）。 这是他们等待上手的动作信号。 Spark完全相同。

这里的负责人称为催化剂。 Catalyst是一种优化器，可找到执行转换的最佳方法。 再说一次，想想这个小孩子，他需要从架子上脱下衣服才能放回书本。 在2.2版中，Spark向Catalyst添加了基于成本的优化器，这是IBM的重要贡献。

什么是数据框？

对于Apache Spark，数据框几乎就像关系数据库世界中的表一样。 好吧，差不多...

  • 数据是不可变的，这意味着它不会改变。 使用SQL，您可以轻松地UPDATE数据并在表中INSERT新行。 数据框是不同的。 要执行这些操作，您每次必须创建一个新的数据框。 这是您经常要做的事情。
  • 像表一样，数据框具有元数据：列具有名称，类型以及它们是否需要值（ nullable为nullable属性）。 与表不同，您不会找到索引，外键，复合键或触发器。
  • 由于Spark具有分析性，因此添加列和执行转换很容易，而使用RDBMS表则很棘手。

数据框API是开发人员使用的API。 您将比Facebook访问Class Dataset页面更多！ 直接从此API，您可以访问列信息，执行联接和联合等等。 （本系列文章的第3部分将探讨此API。）

在Java中，数据帧被实现为Dataset<Row> 。 存储依赖于群集中的分区。 Spark提供了较低级别的API，因此您可以重新分区并了解执行计划，但这不在本文的讨论范围之内。 从Spark 2开始，存储由称为Tungsten的组件处理，该组件比Java / Scala对象更有效。

图2显示了Spark数据帧的API，实现和存储。

API，实施和Spark数据帧的存储。

你学到了什么

希望您现在对Spark如何存储数据以及如何通过dataframe API更好地了解。 您还了解了内置函数以及在哪里可以找到它们。 最重要的是，您现在具有构建更复杂的分析和机器学习的基础……这就是本系列教程的下一步。

走得更远

翻译自: https://www.ibm.com/developerworks/opensource/library/ba-offloading-informix-data-spark-2/index.html

数据分析,数据挖掘基本算法

cuxiong8996
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据挖掘-关联分析与Apriori算法详解
04-03
数据挖掘|关联分析与Apriori算法详解
数据挖掘算法分析
03-03
分类是用于识别什么样的事务属于哪一类的方法，可用于分类的算法有决策树、bayes分类、神经网络、支持向量机等等。一个自行车厂商想要通过广告宣传来吸引顾客。他们从各地的超市获得超市会员的信息，计划将广告册和...
informix sql日期相减
u012455675的博客
11-16 754
informix sql日期相减得到带小数点的天数差值
Informix SQL函数的详细用法
weixin_30254435的博客
01-14 719
一、内部函数 　 1、内部合计函数 　　　 1）COUNT（*）　　　　　　　　　　返回行数 　　　 2）COUNT（DISTINCT COLNAME）　　 返回指定列中唯一值的个数 　　　 3）SUM（COLNAME/EXPRESSION）　　 返回指定列或表达式的数值和； 　　　 4）SUM（DISTINCT COLNAME）　　　 返回指定列中唯一值的和 　　　 5）AVG（COLNAME/...
informix计算时间相差
mark_1994的博客
08-13 3176
select t.insert_time, ((t.clear_time-t.insert_time)::interval second(9) to second ::char(20) ::integer), extend(t.clear_time, year to second) from tab1 t  获得的第二个值是字段clear_time，insert_time相差的秒数，秒数差太大可...
一个INFORMIX的处理日期相减得秒的函数
cuiliuhepan的专栏
03-18 3840
写了一个INFORMIX的处理日期相减得秒的函数 求出2个日期之间的秒数(或天数，周数，月数等)是非常常见的需求，常用INFORMIX的人一定会遇到这样的问题：在INFORMIX里2个日期相减得到的却是一个奇怪的时间格式的东西(如：365 11:11:11.2231)，那么怎样才能得到2个日期之间的秒数差呢？在最后面我给出了对应的自定义函数(存储过程)，执行到数据库里当日期函数用就可以了。。
spark读取hive数据的两种方式
热门推荐
qq_42213403的博客
06-04 1万+
spark读取hive数据常用的有两种方式 一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。 二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.
序列模式分析算法java数据挖掘算法源码
06-01
序列模式分析算法java数据挖掘算法源码 数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算。 为了创建模型，算法将首先分析您提供的数据，并查找特定类型的模式和趋势。概念描述算法使用此分析的结果来定义...
一些数据分析挖掘算法，ipynb.zip
07-18
一些数据分析挖掘算法，ipynb.zip
spark 读取hive事务表
12-29 1613
spark通过JDBC读取hive事务表 https://github.com/Gowthamsb12/BigData-Blogs/blob/master/Spark_ACID import org.apache.spark.sql.jdbc.JdbcDialect object HiveDialect extends JdbcDialect { override def canHandle(url : String): Boolean = url.startsWith("jdbc:hive2")
数据库计算时间差datediff()方法
weixin_30588907的博客
12-12 700
首先可耻的贴出一段官方看法 http://www.w3school.com.cn/sql/func_datediff.asp 定义和用法 DATEDIFF() 函数返回两个日期之间的天数。 语法 DATEDIFF(datepart,startdate,enddate) startdate和enddate参数是合法的日期表达式。 datepart参数可以是下列的值： ...
informix 计算 日期之差
weixin_30239339的博客
03-11 458
原文地址：http://blog.chinaunix.net/uid-678894-id-3138829.html https://blog.csdn.net/zhengqiqiqinqin/article/details/12711421 转载于:https://www.cnblogs.com/lovebean/p/10513428.html
informix日期时间格式化输出
lhbthank的专栏
08-29 1564
informix日期时间格式化输出 一下内容转自：http://blog.csdn.net/amaryh/archive/2010/02/02/5282634.aspx 一个 datetime 型的字段可以存储的日期范围是从 1753 年 1 月 1 日第一毫秒到 9999 年 12 月 31 日最后一毫秒。如果你不需要覆盖这么大范围的日期和时间，你可以使用 SMALLDAT...
SQL常用语句
ko,java,work,learn
07-08 924
1.sql 添加字段: 向数库中的表添加新列 ALTER TABLE t ADD column TYPE 2.sql 查询，日期相减，函数(datediff)   select datediff(year, 开始日期,结束日期); --两日期间隔年 select datediff(quarter, 开始日期,结束日期); --两日期间隔季 select dated...
大数据分析与挖掘算法
最新发布
08-18
大数据分析与挖掘算法是指从大型数据集中，挖掘隐含在其中的、人们事先不知道的、对决策有用的知识的过程。这个过程可以采用各种算法来实现。其中一个经典的算法是聚类算法，它可以用来解决聚类问题，并且具有简单、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值