火麒马

转载 一份阿里P7的面试题

BAT的牛人多，普通人也多，虽然他们不是每一个人都能达到令人仰望的技术水平，但毕竟平台高，所以眼光也会变得宽阔，代码要求更为严格，所以普通的程序员也会被逼的变得更优秀；身边的牛人多，普通的程序员也会受到影响，提升的更快。下面是阿里P7的面试题，Java多线程线程池的原理，为什么要创建线程池？线程的生命周期，什么时候会出现僵死进程；什么实现线程安全，如何实现线程安全；创建线程池有哪几个核心参数？如何合理配置线程池的大小？synchronized、volatile区别、synchro

转载 阿里P7架构师面试题（总结）

常用设计模式单例模式：懒汉式、饿汉式、双重校验锁、静态加载，内部类加载、枚举类加载。保证一个类仅有一个实例，并提供一个访问它的全局访问点。代理模式：动态代理和静态代理，什么时候使用动态代理。适配器模式：将一个类的接口转换成客户希望的另外一个接口。适配器模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。装饰者模式：动态给类加功能。观察者模式：有时被称作发布/订阅模式，观察者模式定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时，会通知所有.

原创 09状态管理和容错机制——Flink

Flink会将状态以二进制的形式全部存储起来算子状态（operator state 一个任务一个状态） “所有并行的子任务对应着一个状态，也就是到子任务来的所有数据共享一个状态” Flink 为算子状态提供三种基本数据结构： 列表状态（List state） 将状态表示为一组数据的列表。 (会根据并行度的调整直接把之前的状态重新分组重新分配) 联合列表状态（Union list state）也将状态表示为数据的列表。它与常规列表状态的区别在于，在发...

原创 08ProcessFunction API（底层 API）——Flink

之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的，基于此，DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间 戳、watermark 以及注册定时事件。还可以输出特定的一些事件，Flink SQL 就是使用 Process Function 实 现的。 Flink 提供了 8 个 Process Function：ProcessFunction KeyedProcessFunction // keyby之后 的 可以操作keyStreamCoP

原创 07Flink中的时间语义和watermark——Flink

重要的两个概念： 状态管理、时间语义Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的 日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事 件时间戳。Ingestion Time：是数据进入 Flink 的时间。Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器 相关，默认的时间属性就是 Processing Time。 对于业务来说，要统计 1min 内的故障日志个数，哪个时间是最有意义的...

原创 06Flink Windows API——Flink

window 是一种切割无限数据 为有限块进行处理的手段。 Window 是无限数据流处理的核心，Window 将一个无限的 stream 拆分成有限大 小的”buckets”桶，我们可以在这些桶上做计算操作Windows可以分为两类CountWindow：按照指定的数据条数生成一个 Window，与时间无关。TimeWindow：按照时间生成 Window。对于 TimeWindow，可以根据窗口实现原理的不同分成三类：滚动窗口（Tumbling Window）、滑动窗口（Slidin

原创 05Flink 流处理 API——Flink

getExecutionEnvironment创建一个执行环境，表示当前执行程序的上下文。getExecutionEnvironment 会根据查询运行的方 式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。val env = StreamExecutionEnvironment.getExecutionEnvironment如果没有设置并行度，会以 flink-conf.yaml 中的配置为准，默认是 1。Source从集合读取数据// 定义样例类，传感...

原创 04Flink 运行架构——Flink

Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作： 作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager）， 以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在 Java 虚拟机上。每个组件的职责如下：作业管理器（JobManager） 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的 JobManager 所控制执行。J

原创 03实现Flink集群的部署——Flink

官网中，有两种版本，一种是有hadoop支持的版本，一种是没有hadoop支持的版本解压后重点有两个目录，一个是bin，一个是conf1、解压到指定目录tar -zxvf flink-1.7.2-bin-scala_2.11.tgz -C local/2、配置Flink的配置很简单。 我们需要调整一些参数，我们都已设置好。 作业管理器节点和任务管理器节点的大多数配置都相同。 所有配置都在conf/flink-conf.yaml文件中完成。下面配置进入目录cd /usr/

原创 02为实现Flink的部署做前期准备——Flink

官网中，有两种版本，一种是有hadoop支持的版本，一种是没有hadoop支持的版本解压后重点有两个目录，一个是bin，一个是conf

原创 01实现WordCount（批处理+流处理）快速上手——Flink

搭建 maven 工程 FlinkTutorial然后在pom.xml中添加依赖，和引入插件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...

原创 升级对HDFS的依赖

org.apache.flink.runtime.client.JobExecutionException: Could not retrieve JobResult. at org.apache.flink.runtime.minicluster.MiniCluster.executeJobBlocking(MiniCluster.java:643) at org.apache.flink.client.LocalExecutor.executePlan(LocalExecutor.jav...

原创 org.apache.hadoop.hive.shims.Hadoop23Shims

xception in thread "main" java.lang.ExceptionInInitializerError at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:108) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:264) ...

原创 org/apache/hadoop/hive/shims/ShimLoader

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:371) at org.apache.hadoop.hive.conf.HiveConf.<clinit>(Hiv...

原创 Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

20/07/10 21:51:48 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.20/07/10 21:51:48 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apach

原创 Running job时空间不足，一直卡着不动

java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1249) at java.lang.Thread.join(Thread.java:1323) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeRespond...

原创 开启mysql的远程连接

java.sql.SQLException: null, message from server: "Host 'USER-20200511CB' is not allowed to connect to this MySQL server"因为用户名是root。所以需要用root 进行登录 。然后进行授权对hive库下的所有表 运行flink用户的任何ip 进行登录。 flink用户的密码是000000grant all PRIVILEGES on hive.* to 'fl...

原创 hive中放弃保留关键件的使用

FailedPredicateException(identifier,{useSQL11ReservedKeywordsForIdentifier()}?) at org.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.identifier(HiveParser_IdentifiersParser.java:10924) at org.apache.hadoop.hive.ql.parse.HiveParse...

原创 hive的编码问题

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)创建表的时候报错后面将生成的hive表删除。重启启动hive修改hive字符集alter database

原创  Linux下centos6.8上的root与非root上安装Mysql5.6

0、查看之前是否有安装过mysql1、先查看是否有mysql / mariadb的安装依赖，如果有则卸载需要切换到root用户下进行卸载2、解压，拷贝到root用户下3、安装服务端，客户端4、启动，设置开机自启5、查看密码，登录6、grant all on hive.* to 'root'@'%' identified by '000000';...

原创 Windows下解压版mysql安装，报错&解决

直接解压之前这样拷贝路径成功安装，但是无法启动后面修改路径启动成功环境变量添加入mysql_home直接敲mysql就能进来

原创 Provider for class javax.xml.parsers.DocumentBuilderFactory cannot be created

javax.xml.parsers.FactoryConfigurationError: Provider for class javax.xml.parsers.DocumentBuilderFactory cannot be created at javax.xml.parsers.FactoryFinder.findServiceProvider(FactoryFinder.java:311) at javax.xml.parsers.FactoryFinder.find(FactoryFind.

原创 java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are un

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems at org.apache.hadoop.util.Shell.fileNotFoundException(Shell.java:528) at org.apache.hadoop....

原创 Redis在Linux下安装准备接受Flink上传的数据

将前面转换好后上传的数据，存到Redis中1、先下载一个Redis的包https://www.redis.net.cn/download/下载3.2.11版本(需要哪个版本直接改版本号)，http://download.redis.io/releases/redis-3.2.11.tar.gz1、先安装gcc（因为：Redis是C实现的，需要gcc来进行编译）yum -y install gcc gcc-c++ libstdc++-devel如果遇到gcc安装不了显示...

原创 Caused by: java.lang.ClassNotFoundExceptionorg/apache/flink/shaded/jackson2/com/fasterxml/jackson/co

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/shaded/jackson2/com/fasterxml/jackson/core/JsonParseException at org.apache.flink.runtime.webmonitor.WebMonitorEndpoint.initializeHandlers(WebMonitorEndpoint.java:212) at o...

原创 搭建kafka环境

查看就可以得到已经解压好的安装包进到配置文件，对zoo.cfg进行配置zookeeper下面创建一个zk_data，然后编辑zoo.cfg将其路径拷贝给dataDir然后在配置环境中进行配置zk_home然后接着安装kafka先到kafka下面创建一个ka_data作为日志存放地方进到kafka的配置文件中，编辑vi server.propertieskafka环境搭建后，测试kafka是否好用再打开一个窗口 创建kafka的主题...

原创 jdk1.8+ Maven 的安装

其实电脑已经装了jdk1.8了现在就是安装maven了1. 下载安装包http://maven.apache.org/download.cgi翻译之后：操作如下：1、先解压2、配置环境变量配置MAVEN_HOME环境变量在原path变量中点击编辑，添加一项：%MAVEN_HOME%\bin;然后一路确定接着就是测试安装的maven3、 maven的本地仓库的配置maven仓库有三种类型：本地仓库（l...

原创 Caused by: java.lang.NoClassDefFoundError: org/apache/flink/runtime/minicluster/JobExecutorService

E:\toolbox\JDK\jdk1.8.0_121\bin\java -javaagent:E:\toolbox\IDEA\ideaIC-2017\lib\idea_rt.jar=62348:E:\toolbox\IDEA\ideaIC-2017\bin -Dfile.encoding=UTF-8 -classpath E:\toolbox\JDK\jdk1.8.0_121\jre\lib\charsets.jar;E:\toolbox\JDK\jdk1.8.0_121\jre\lib\deploy.j

原创 IDEA修改缓存配置目录&maven目录

在IDEA安装包、或者解压包的bin目录下，找到idea.properties现在进行修改

原创 Linux下SparkSubmit提交任务后，运行一会，访问网站后，抛出异常

-------------------------------------------Time: 1591750745000 ms-------------------------------------------192.168.72.1 - - [10/Jun/2020:09:01:17 +0800] "GET /forum.php?mod=viewthread&tid=1 HTTP/1.1" 200 34503 "http://slave1/forum.php?mod=viewthrea

原创 Linux，centos6.8上Mysql5.6的安装2

1、创建一个文件夹2、将安装包拉到主节点下，在通过scp命令将其进行拷贝到slave1sudo scp MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar root@slave1:/root/mysql3、解压4、安装服务端5、安装客户端6、查看随机密码7、启动，设置开机自启8、输入，然后将刚刚的密码拷贝过来9、登录进mysql10、开启远程登录权限，刷新...

原创 Linux，centos6.8上Mysql5.7的安装

在slave1上安装mysql server 、client，其他节点安装client。其他节点远程连接slave1的服务端即可。1、先通过xftp或者SRT工具，将安装包上传到master，2、但是呢用户权限不是root用户，所以添加一步修改权限操作sudo chown root:root mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar3、在用scp命令将其拷贝到slave1下sudo scp mysql-5.7.29-1.el7.x86_

原创 Hadoop集群安装配置——2

在进行配置前，需要完成以下几项1、可以制作本地yarn源 03Linux上常用的软件安装——好程序2、克隆子节点 (修改ip uuid mac 主机名 slaves的主从节点) 虚拟机的克隆——aboutyun 02Linux克隆&常用命令——好程序 Linux中IP设置——about...

原创 Permission denied没有权限

scp: /etc/profile: Permission denied执行scp分发命令，提示没有权限，进入到slave2 的etc下面，ll查看，发现连root 用户都是没有x 权限然后看到了这段https://blog.csdn.net/MZ199290/article/details/86590004解决方法：#chmod a+x filename呵呵，然后就可以了。PS：用字符串来设定文件访问权限。其中读用 r 表示，写用 w 表示，执行用 ...

原创 VMware新建虚拟机的自定义安装——1

当前还是属于一台裸机，接下来还需要安装磁盘选择第一个回车，进入下面页面先查看网段是多少重启后可以登录了...

原创 01——Vue的学习

在main.js中import Vue from 'vue'import App from './App'Vue.config.productionTip = false/* eslint-disable no-new */new Vue({ el: '#app', components: { App }, template: '<App/>'})/*//这里是入口js//1、引入vue//2、new一个vue//3、需要将App组件渲染到index.

原创 01__HTML+CSS基础

原创 SqlServer的自增长设置

--第一种用sql建表 identity(1,1)为每次递增copy1位 primary key为主键create table 表名 ( id int identity(1,1) primary key)第二种就是手动设置SQLServer的id（主键），让它随着插入的数据自动增长？方法：点击需要设置的表，点击右键——设计——在列中，点击id——下方出现如下的图...

原创 .Net中的小错误

mvc5版本以后呢，都是自带NuGet的不用再重新安装想用EntityFramework，但是提示这个，说明没有安装包，需要添加安装包无法将所有必须的程序包添加到项目，一下程序包无法从“...........”安装工具——》NuGet包管理器——》管理解决方案的NuGet程序包（这个是可视化进行安装）工具——》NuGet包管理器——》程序包管理器控制台（这个是命令行进行安...

原创 31离线系统辅助工具flume——好程序

1、什么是flumeApache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data ...