涛博客

Fink DataSet 常用API一、DataSourceTransformationSinkFlink DataSet 常用API主要分为3部分：DataSource：是程序的数据源的输入，可以自定义数据源；transformation：具体的操作，对一个或多个输入进行计算处理；Sink：程序的输出，将Transformation处理之后的数据输出到指定的存储介质中；一、DataSource1、来源DataSource方法描述基于文件readTextFile读

Fink DataStream 常用API一、DataSourceTransformationSinkFlink DataStream 常用API主要分为3部分：DataSource：是程序的数据源的输入，可以自定义数据源；transformation：具体的操作，对一个或多个输入进行计算处理；Sink：程序的输出，将Transformation处理之后的数据输出到指定的存储介质中；一、DataSource1、来源DataSource方法描述基于文件readText

flink批处理示例开发一、版本和开发工具二、开发示例三、运行前一节介绍了流处理开发示例，本节来展示flink批处理开发。一、版本和开发工具flink版本：1.13.3开发工具：Intellij IDEAJava版本：1.8.0_261二、开发示例1、开发需求：统计一个文件中的单词出现的总次数，并且把结果存储到文件中。2、接上节的开发，代码下载地址：Flink开发示例源代码3、核心代码如下public static void main(String[] args) throws Exce

flink 开发示例一、版本和开发工具二、Flink 程序开发步骤三、开发示例四、运行一、版本和开发工具flink版本：1.13.3开发工具：Intellij IDEAJava版本：1.8.0_261二、Flink 程序开发步骤1、获得一个执行环境2、加载或者创建初始化数据3、指定操作数据的Transaction算子4、指定计算好的数据的存放位置5、调用execute()触发程序执行三、开发示例1、创建项目,填写项目名称，存放路径、包名、版本号等2、添加依赖，在本机注释掉sco

改注解有个prefix属性，通过指定的前缀，绑定配置文件的配置，该注解可以放在类上，也可以放在方法上。从官方的注释中了解，当作用于方法上时，如果绑定配置，需要有@Bean注解且对应的类需要@Configuration注解/** * Annotation for externalized configuration. Add this to a class definition or a * {@code @Bean} method in a {@code @Configuration} class

需要配置HADOOP_CLASSPATHexport HADOOP_CLASSPATH=hadoop classpath

[root@node03 ~]# docker pull kibana[root@node03 ~]# docker run --name kib_prd -p 5601:5601 -e ELASTICSEARCH_URL=http://ElasticSearch的IP地址:9200 -d kibana

[root@node03 ~]# docker pull elasticsearch[root@node03 ~]# dicker images[root@node03 ~]# docker run --name db_elasticsearch -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” elasticsearch

curl -XPUT http://ip地址:9200/logstash-dx -d ‘{“mappings”:{“trans”:{“properties”:{“RequestTime”:{“type”:“date”,“format”:“YYYY:MM:DD HH:mm:ss”}}}}}’

一、 数据库1、 语法：CREATE DATABASE [IF NOT EXISTS] db_name [ENGINE = engine]2、 数据库目前支持5种引擎： Oridinary：默认引擎，无须声明 Dictionary：字段引擎 Memory：内存引擎，用于存放临时数据 Lazy：日志引擎，只能使用与Log系列的表引擎 MySQL：此类数据库下的表会自动拉取MySQL数据库的数据3、 查看数据库：SHOW DATABASES4、 删除数据库：DROP DATABASE

目录一、下载rpm文件二、安装三、配置四、启停本文讲解ClickHouse 集群搭建。一、下载rpm文件1、下载地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/下载最新的版本：clickhouse-common-static-dbg-21.5.5.12-2.x86_64.rpmclickhouse-common-static-21.5.5.12-2.x86_64.rpmclickhouse-server-21.5.5.12-2.n

grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported”

ClickHouse数据类型分：基础类型、复合类型和特殊类型一、 基础类型分数字、字符串和时间1、 数字分整数、浮点数和定点数整数名称大小(字节)范围Int81-128 ~ 127Int162-32768 ~ 32767Int324-2147483648 ~ 2147483647Int648-9223372036854775808 ~ 9223372036854775807UInt810 ~ 255UInt1620

1、找到对应的会话select p.`user` ,p.query_id ,p.address ,p.port ,p.query from system.processes p 或者SHOW PROCESSLIST2、进行kil操作kill query where query_id='d03438bf-cd25-48fe-a4fd-e3e2c72eff2e'

目录一、下载rpm文件二、安装三、配置本文讲解ClickHouse 的安装和配置。一、下载rpm文件1、下载地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/下载最新的版本：clickhouse-common-static-21.3.5.42-2.x86_64.rpmclickhouse-server-21.3.5.42-2.noarch.rpmclickhouse-client-21.3.5.42-2.noarch.rpm2、

目录一、集群规划二、下载与设置三、初始化元数据四、hive启与停本节讲解Flume的安装与配置。一、集群规划在node01 安装，同步到node02，node03 node01 node02 node03 hive hive hive 二、下载与设置三、初始化元数据四、hive启与停...