齐世伟的博客

原创 Flink 随笔

一、Flink简介1.1 初识Flink1.1.1 序言​ Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apache软件基金会的顶级项目。​ 在德语中，Flink一词表示快速和灵巧，项目采用一只

原创 Axure中内联框架设置为浏览器宽度(可变跨度)后如何隐藏滑动条

Axure中内联框架设置为浏览器宽度(可变跨度)后如何隐藏滑动条

原创 项目工作流程

​产品项目工作流程

原创 Flink集成Kafka

Flink集成KafkaFlink可以用于Kafka的生产者，也可以用于Kafka的消费者。Flink作为生产者需要创建FlinkKafkaProducer对象作为生产者向Kafka中发送消息代码实现public class MyFlinkKafkaProducer { public static void main(String[] args) throws Exception { // TODO 1. 获取执行环境 StreamExecut

原创 JSON && FastJson

JSON定义：JavaScript Object Notation 的缩写。javaScript对象标识符。主要用于前后端数据传输的一种数据封装格式。Json的数据类型数据结构对象类型 ： Object{}: 使用花括号来表示【内部是键值对的格式，key必须是string类型，value可以是基本类型，也可以是数据结构类型】。数组类型 ： Array数组 / 对象数组类型[{},{},{},...]: 所有的对象包裹在中括号内部，多个元素之间使用逗号分隔。基本数

原创 IDEA自定义模板

一、配置类注释模板File → setting… → Editor → Live Templates，如下图所示：点击右侧 + 号，选择创建模板组，并输入模板的名称，具体如下图所示：选择刚刚新建的模板组，点击右侧 + 号，创建新模板，具体如下图所示：配置模板快捷键、配置模板内容，点击Define(如果以前做过修改会显示为Change)，会出现列表，选择Java(根据自己的需求选择此模板应用的场景)。具体如下图所示：·为了后期使用的方便，此模板的名称设置为“ * ”，

原创 Linux系统 _ MySql的安装与配置

1. 安装MySql建议使用root用户角色进行安装，如果没有root权限就使用当前用户角色进行安装测试当前系统是否有mysql，如果有，卸载自带的Mysql-libs。## 测试命令[heather@hadoop01 mysql ]$ rpm -qa | grep -i -E mysql\|mariadb## 删除命令[heather@hadoop01 mysql ]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -

原创 数据库设计之 - 范式理论

范式理论一、范式概念1. 定义范式可以理解为在设计一张数据表时，应该符合的标准级别、规范和要求。2. 优点采用范式，可以降级数据的冗余性为什么要降级数据的冗余性？在21世纪初期，由于磁盘价格高昂，便于减少磁盘存储。以前没有分布式存储，都是单机，只能增加磁盘，磁盘个数也是有限的。一次修改，需要修改多个表，很难保证数据一致性。3. 缺点范式的缺点是在获取数据时，需要通过Join拼接获取最后的数据。应用扩展：在关系数据库中，例如MySql中，多次Join并不会明显降低

原创 ClickHouse 随笔

ClickHouse一、ClickHouse初级1.1 ClickHouse入门1.1.1 概念ClickHouse 的全称是 Click Stream，Data WareHouse，简称 ClickHouseClickHouse 是俄罗斯的 Yandex 于 2016 年开源的一个用于联机分析(OLAP:Online Analytical Processing)的完全的列式数据库管理系统(DBMS:Database Management System), 主要用于在线分析处理查询（OLAP），

原创 如何修改 / 校正Linux系统时间

序言很多时候我们操作完Linux系统后会直接挂起机器，不是关闭机器，但是这样就会带来一个问题，系统时间会脱离网络实际时间，导致系统时间与时间不一致，下面就是关于修改 / 校正Linux系统时间的操作步骤操作使用date命令查看当前系统时间。如下所示：[root@hadoop102 ~]# date2021年 05月 23日 星期日 11:16:42 CST但是目前实际时间是：2021年5月25日 20:55:07 星期二使用命令rm -f /etc/localtim

原创 解决IDEA中项目加载失败

序言有些情况下，我们导入的项目因为网络或者IDEA等缘故，IDEA中只有pom文件，而项目并没有成功的导入到IDEA中，此时，我们可以依靠下面的操作，把工作空间的项目成功个的导入到IDEA工具中。操作步骤进入到工作空间，选中自己的自己想要导入的项目后面的操作全部选择默认即可。此时，等待项目加载完毕，保证网络顺畅。...

原创 Shell随笔

Shell随笔1. 单引号、双引号、反引号和$()的区别新建文件，文件中输入以下内容，做测试：vim test.sh#!/bin/bashdo_date=$1echo '$do_date'echo "$do_date"echo ' "$do_date" 'echo " '$do_date' "echo `date`echo $($1)赋予执行权限chmod u+x test.sh执行脚本./test.sh date输出结果$do_datedat

原创 Spark - Core 随笔

SparkCore第一章 概述1.1 概念Spark是一种基于内存的快速、通用、可扩展的大数据的分析计算引擎。1.2 Spark & FlinkSpark : 主要适用于离线计算业务中Flink : 主要适用于实时计算业务中1.3 Spark & Hadoop出现的时机：Hadoop1.x ~ Hadoop2.xHadoopSpark典型基础平台，包含计算，存储调度分布式计算工具场景大规模数据集的批处理迭代计算，交互式计

原创 Kafka 随笔

Kafka一、MQMessage Queue 简称 MQ ；消息队列，也称为消息中间件。是基础数据结构中“先进先出”的一种数据结构。一般用来解决：应用解耦、异步消息、流量削峰等问题，实现高性能、高可用、可伸缩和最终一致性架构。MQ的技术维度API 发送和接收MQ 的高可用性MQ 的集群和容错配置MQ 的持久化MQ 的延时发送 / 定时发送签收机制MQ 消费消息的两种模式点对点模式一对一，消费者主动拉取数据，消息收到后消息清除消息生产者生产消息发送到Queue中，然后

原创 Hive 随笔

一、Hive基本概念1.1 hive基本认识hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据。Hive毕竟不是数据库，但是在大数据的场景中，我们大量的数据都存储在hadoop的hdfs中，那么我们又怎样去做才能去操作hdfs中的数据呢？那就是使用：Hive。所以说，Hive就是一个操作hdfs中数据的一个客户端工具。 tel up down13838

原创 IDEA2020如何关闭Documentation文档提示

IDEA2020如何关闭Documentation文档提示亲测有效！ 亲测有效！ 亲测有效！默认情况下是这个样子的可以看出，对于搬砖的效率来讲有些影响，新版的IDEA对此的修改如下所示：File —> Setting —> Editor —> General —> Code Completion...

原创 UDF UDAF UDTF 区别

UDF UDAF UDTF 区别UDF概念：User-Defined-Function 自定义函数 、一进一出；只对单行数据产生作用；实际使用时，UDF函数以匿名函数的形式进行操作使用背景：系统内置函数无法解决实际的业务问题，需要开发者自己编写函数实现自身的业务实现诉求。应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。意义：函数扩展得到解决，极大丰富了可定制化的业务需求。Input/Output要求-要解决的问题in:out=1:1,只能输入一条记录

原创 SparkSQL

SparkSQL第1章 Spark概述1.1 SparkSQL是什么Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。1.2 SparkSQL and HiveSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为

原创 Java中的==、equals和Scala中的==、equals、eq

Java1. 对于==如果作用于基本数据类型的变量，则直接比较其存储的"值"是否相等；如果作用于引用类型的变量，则比较的是引用所指向的对象的地址；2. 对于equals方法注意：equals方法不能作用于基本数据类型的变量,且String str1 = "abc"其作用于常量池中如果没有对equals方法进行重写，则比较的是引用类型的变量所指向的对象的地址；作用和"=="是一样的，这一点我们从源码中看出来public boolean equals(Object anObject)

原创 多核 CPU 和多个 CPU 有何区别？与线程的关系？

多核 CPU 和多个 CPU 有何区别？先说结论，多核CPU和多CPU的区别主要在于性能和成本。多核CPU性能最好，但成本最高；多CPU成本小，便宜，但性能相对较差。再描述之前，先来认识几个基本知识：CPU : 中央处理器(CPU，Central Processing Unit)是一块超大规模的集成电路，是一台计算机的运算核心和控制核心，它的功能主要是解释计算机指令以及处理计算机软件中的数据，计算机的性能在很大程度上由CPU的性能决定，而CPU的性能主要体现在其运行程序的速度上，影响运行速度的性能

原创 Scala中常用高阶函数

Scala中常用高阶函数map() 、 flatMap()map映射在Scala中可以通过map映射操作进行处理，将集合中的每一个元素通过指定功能(函数)映射(操作)成新的结果集合，过程中经历了2个过程对集合中元素进行遍历对集合中的每一个元素进行操作flatMap扁平化...

原创 动态绑定再出发

方法的重载定义： 同类、同名、异参(个数、顺序、类型)如果指定的类型的方法不存在，就会从类的体系树向上查找。public class Test01 { public static void main(String[] args) { //AA aa = new AA(); // aaaa //BB bb = new BB(); // bbbb AA aa = new BB(); // aaaa // BB

原创 HBase 随笔

HBase数据存储模型分类**技能支撑：**行式存储 && 列式存储行式存储：关系型数据库【Oracle、MySQL、SQLServer】列式存储：NoSQL数据库【HBase、cassandra】1 行式存储概念：行式存储的数据是跳跃式的存储在磁盘上。当SQL语句执行时，会增多磁盘的转动次数，磁头也需要多次长距离的移动，随之带来的饿问题即是————IO操作增多，压力加大。数据量越大，SQL语句越复杂，关系型数据库的执行效率会出现“断崖式下降”！！！[

原创 Hive的基本操作

Hive的基本操作1.mysql安装1.使用脚本卸载本机的mysql编写脚本：remove_mysql.sh#!/bin/bashservice mysql stop 2>/dev/nullservice mysqld stop 2>/dev/nullrpm -qa | grep -i mysql | xargs -n1 rpm -e --nodeps 2>/dev/nullrpm -qa | grep -i mariadb | xargs -n1 rpm -e

转载 mapreduce运行的5个阶段

https://blog.csdn.net/chenzhikaida/article/details/49422835

原创 解决 Maven 项目中jar包冲突问题

maven导入jar包中的一些概念： 直接依赖：项目中直接导入的jar包，就是该项目的直接依赖包。 传递依赖：项目中没有直接导入的jar包，可以通过项目直接依赖jar包传递到项目中去。 解决jar包冲突的方式一： 第一声明优先原则：哪个jar包的坐标在靠上的位置，这个jar包就是先声明的。 先声明的jar包坐标下的依赖包，可以优先进入项目中。通过上述的图片可以看到，我们在maven中分别导入了spring-context，版本为5.1.9，...

原创 JVM 虚拟机内存管理

转载 设置JDK环境变量后，无法生效的原因和解决办法

最开始安装过安装版的JDK版本，然后修改环境变量并不能生效，例如一开始安装了1.8的版本，后修改环境变量为1.7，命令cmd 里java -version仍显示1.8这是因为当使用安装版本的JDK程序时，在安装结束后安装程序会自动将java.exe、javaw.exe、javaws.exe三个可执行文件复制到C:\Windows\System32目录，这个目录在WINDOWS环境变量中的优先级高于JAVA_HOME设置的环境变量优先级，故此直接更改JAVA_HOME会无效。另外，JDK1.8安装.

原创 eclipse如何改全局的utf8

１、windows->Preferences...打开"首选项"对话框，左侧导航树，导航到general->Workspace，右侧Text file encoding，选择Other，改变为UTF-8，以后新建立工程其属性对话框中的Text file encoding即为UTF-8。２、windows->Preferences...打开"首选项"对话框，左侧导航树，导航到general->Content Types，右侧Context Types树，点开Text中每一个子项,.

原创 Flink

1、Flink中的Time在Flink的流式处理中，会涉及到时间的不同概念(按照顺序分析：数据先进入Flink——>算子执行——>数据生成)a、Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳【数据生成的时间】b、Ingestion Time：【是数据进入...

转载 scala中 object 和 class的区别

object在scala中没有静态方法和静态字段，所以在scala中可以用object来实现这些功能，直接用对象名调用的方法都是采用这种实现方式，例如Array.toString。对象的构造器在第一次使用的时候会被调用，如果一个对象从未被使用，那么他的构造器也不会被执行；对象本质上拥有类（scala中）的所有特性，除此之外，object还可以一扩展类以及一个或者多个特质：例如，abstra...

转载 IDEA 设置以及相关问题解决

https://blog.csdn.net/axing2015/article/details/85229824一、IDEA build 时遇到的警告问题二、IDEA 主题设置三、IDEA 代码编辑区主题设置四、IDEA 界面主题字体修改五、IDEA 代码编辑区字体修改六、IDEA 控制台字体修改七、IDEA 快捷键设置八、IDEA 鼠标放在类或方法上显示围挡结构九、IDEA ...

原创 ElasticSearch的基本概念

1 近实时近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级。2 Cluster（集群）集群包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常3 Node（节点）集群中的一个节点，节点也有一个名称（默认是随机分配的），节...

转载 ElasticSearch和Solr的区别

Elasticsearch简介Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。但是Lucen...

原创 内部类以及匿名内部类

外部类：最普通的，我们平时见到的那种类，就是在一个后缀为.java的文件中，直接定义的类，比如public class Student {private String name;private int age;}内部类：内部类，顾名思义，就是包含在外部类中的类，就叫做内部类。内部类有两种，一种是静态内部类，一种是非静态内部类。public class School...

原创 数据采集的大致流程（离线和实时）

一：离线数据的采集流程1、我们的数据从哪里来？互联网行业：网站、app、微信小程序、系统（交易系统。。）传统行业：电信，人们的上网、打电话、发短信等等数据数据源：网站、app、微信小程序都要往我们的后台去发送请求，获取数据，执行业务逻辑；app获取要展现的商品数据；发送请求到后台进行交易和结账网站/app会发送请求到后台服务器，通常会由Nginx接收请求，并进行转发2、后台服...

原创 Nginx

一：单机Nginx的安装1.上传nginx安装包2.解压nginx tar -zxvf nginx-1.12.2.tar.gz -C /usr/local/src/3.进入到nginx的源码目录 cd /usr/local/src/nginx-1.12.2/4.预编译 ./configure5.安静gcc编译器 yum -y install gcc ...

转载 get和post的使用场景

GET和POST两种方法都是将数据送到服务器。HTTP标准包含这两种方法是为了达到不同的目的。POST用于创建资源，资源的内容会被编入HTTP请示的内容中。例如，处理订货表单、在数据库中加入新数据行等。当请求无副作用时（如进行搜索），便可使用GET方法；当请求有副作用时（如添加数据行），则用POST方法。一个比较实际的问题是：GET方法可能会产生很长的URL，或许会超过某些浏览器与服务器对...

原创 MongDB重启出现问题

1：首先要明白一点：/var/run/mongodb/mongod.pid exists 这个错误的出现不会因为此文件的删除而解决掉，因为权限不足，我们无法完全删除掉这个文件。所以我们首先要解决权限的问题。这一点我们可以在mongod.log信息中得到答案。通过sudo more /var/log/mongodb/mongod.log可以查看详情2：如果我们修改了MongoDB的数据存放...

原创 MongoDB数据库的基本操作

Linux系统安装mongDB数据库的yum源1、vi /etc/yum.conf*****修改keepcache=0为keepcache=1#配置mongo的yum源vi /etc/yum.repos.d/mongodb-org-3.4.repo[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongo...