基础知识java整型变量默认为intjava的整型常量默认为int型，声明long型常量须后加‘ l’ 或‘ L’java程序中变量通常声明为int型，除非不足以表示较大的数 ，才使用longJava的浮点型常量默认为double型，声明float型常量，须后加‘ f’ 或‘ F’ 。字符类型char，用单引号' a ' ，括起来。基本数据类型转换1.byte,short,char之间不会相互转换，他们三者在计算时首先为int类型 。2.boolean类型不能与其它数据.

1.关键字：将日期格式转换成时间戳格式unix_timestamp();将日期格式 转换成指定格式date_format(date(),'%y-%m-%d');2.interval的说明上个月或上周之类的 用这个来指定interval 2 month -- 前几个月 数值就是几当函数使用时，即interval(),为比较函数，如：interval(10,1,3,5,7); 结果为4；原理：10为被比较数，后面1,3,5,7为比较数，将后面四个依次与10比...

spark sql对seq(s1, s2, s3, …)值的包装，seq的每个元素si会被包装成一个Row如果si为一个简单值，则生成一个只包含一个value列的Row如果si为一个N-Tuple，则生成一个包含N列的Row特别的，如果N-Tuple是一元组，则视为非元组，即生成一个只包含一个value列的Rowscala> Seq(("bluejoe"),("alex")).toDF().show+-------+| value|+-------+|bluejoe|| ...

什么是数据仓库数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。处理过程收集、清洗、整合来自多个数据源的数据。数据仓库描述：一个面向主题的、集成的、随时间变化的、非易失的数据集合。面向主题：数据仓库是面向主题的。主题是一个抽象概念，简单地说就是与业务相关的数据的类别，每一个主题基本对应一个宏观的分析领域。主题域是对某个主题进行分析后确定的主题的边界；集成：集成的概念与面向主题是密切相关的。从公司层面整体分析销售数据，必须将多个分散的数据源统一成一致的、无歧义的数

KibanaKibana 是一个免费且开放的用户界面，能够让你对 Elasticsearch 数据进行可视化，并让你在 Elastic Stack 中进行导航。你可以进行各种操作，从跟踪查询负载，到理解请求如何流经你的整个应用，都能轻松完成修改 config/kibana.yml 文件# 默认端口server.port: 5601# ES 服务器的地址elasticsearch.hosts: ["http://localhost:9200"]# 索引名kibana.inde

ElasticSearch环境1.集群Cluster一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就是”elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。2.节点Node集群中包含很多服务器，一个节点就是其中的一个服务器。作为集群的一部分，它存储数据，参与集群的索引和搜索功能。一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工

1.Elasticsearch 是什么The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

建表语句：create external table `dic_list` ( dic_id string comment '代码集id', dic_cnname string comment '代码集中文名称', table_ele string comment '数据项', table_enname string comment '数据集英文名') comment '数据集码表引用记录'ROW FORMAT SERDE ...

正则表达式：然后查看源码知道useDelimiter 下面的实现使用的是Pattern,参考文章得知：https://docs.oracle.com/javase/7/docs/api/java/util/regex/Pattern.htmlBoundary matchers^ The beginning of a line$ The end of a line\b A word boundary\B A non-word boundary\A The b...

Kafka工作流程1.Kafka将消息按Topic进行分类，每条message由三个属性组成。offset：表示message在当前Partition（分区）中的偏移量，是一个逻辑上的值，唯一确定了Partition中的一条message，可以简单的认为是一个id；MessageSize：表示message内容data的大小；data：message的具体内容；2.在整个kafka架构中，生产者和消费者采用发布和订阅的模式，生产者生产消息，消费者消费消息，它俩各司其职，并且都是面向t

Kafka的介绍Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka 有如下特性：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。 同时支持离线数据处理和实时数据处理。 Scale out：支持在

概述Spark Streaming 是核心 Spark API 的扩展，它支持实时数据流的可扩展、高吞吐量、容错流处理。支持多个数据源操作，Kafka, Kinesis, or TCP sockets等；并且可以使用复杂算法来处理数据，像高级别功能表达map，reduce，join和window。在内部，它的工作原理如下。Spark Streaming 接收实时输入的数据流，并将数据分成批处理，然后由 Spark 引擎处理以批处理生成最终的结果流。Spark Streaming 提.

快速开始RDD1.Spark 的主要抽象是一个分布式弹性数据集（RDD），可以从 Hadoop InputFormats（例如 HDFS 文件）或通过转换其他RDD来创建RDD。val textFile = spark.read.textFile("README.md")2.可以通过调用某些操作直接从 RDD中获取值，或者转换RDD以获得新的值 textFile.count() textFile.first() // First item in this Dataset3.

一：介绍1.购物篮的定义2.适用场景3.相关概念4.步骤5.编程实现6.步骤二：程序1.程序package com.ibeifeng.senior.mba.associationimport org.apache.hadoop.fs.{FileSystem, Path}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}...

一、从hdfs下载文件到windows本地import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;/*** 从hdfs下载文件到window..

YARN产生背景MapReduce1.X的问题：JobTracker的压力太大了；YARN的产生YARN的架构1个RM（ResourceManager）+N个（NodeManager）ResourceManager的职责：一个集群的active状态的RM只有一个，负责整个集群的资源管理和调度；1.处理客户端的请求（启动/杀死）任务；2.启动/监控ApplicationMaster（一个作业对应一个AM）；3.监控NM；4.系统的资源分配和调度；N.

数组时间复杂度将1次resize均摊给2n+1；所以每次addLast操作，进行2次基本操作；均摊时间复杂度O(1)复杂度震荡addLast和removeLast操作同时考虑：在n/2时，这个临界点，扩容和缩容；解决方案：Lazy当数组中的数据为实际的1/4时，再进行缩容操作data.length / 2 != 0 //当数组元素；当data.length等于1时，数组不能分配0个大小；栈和队列栈是一种线性结构；只能从一端添加元素，也只..