loki的博客

原创 Apache Nifi 入门到精通（三）自定义processor

目标：实现从restful接口读取到nifi第一步：创建processor项目结构创建maven项目项目名nifi-rest-bundle完成创建项目：修改 pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-...

原创 解决maven 打包报错：The POM for **jar** is invalid, transitive dependencies (if any) will not be available

解决maven 打包问题：The POM for org.javassist:javassist:jar:3.19.0-GA is invalid, transitive dependencies (if any) will not be available, enable debug logging for more details这类问题属于POM文件下载出错或者jar包下载出错导致。解决方案：（1）将整个maven repository 删除，使用maven重新下载并导入此方法，

原创 使用frp实现内网穿透--阿里云服务器端+windows客户端

第一步：下载linix安装包和window安装包wget https://github.91chifun.workers.dev//https://github.com/fatedier/frp/releases/download/v0.34.3/frp_0.34.3_linux_amd64.tar.gzwget https://github.91chifun.workers.dev//https://github.com/fatedier/frp/releases/download/v0.34.

原创 ThreeJS-前端3D可视化开发入门-vue

1、npm安装threejs创建vue项目(略)执行如下命令：安装threejs相关模块npm install threenpm install three-css2drendernpm install three-obj-mtl-loadernpm install three-orbit-controlspackage.json 如下{ "name": "vue-lk-test", "version": "0.1.0", "private": true, "

原创 Dockerfile使用全解，看完再也不用担心不会写dockerfile了

Dockerfile是Docker用来构建镜像的文本文件,包括自定义的指令和格式。可以通过docker build命令从Dockerfile中构建镜像。用户可以通过统一的语法命令来根据需求进行配置，通过这份统一的配置文件，在不同的文件上进行分发，需要使用时就可以根据配置文件进行自动化构建，这解决了开发人员构建镜像的复杂过程。Dockerfile的使用Dockerfile描述了组装对象的步骤，其中每条指令都是单独运行的。除了FROM指令，其他每条命令都会在上一条指令所生成镜像的基础上执行，执行完后会生

原创 电脑开机出现the computer case is open怎么办？

问题无法进入系统，无法进入bios。the computer case is open.please make sure the computer case is closed properly。具体错误如下图：问题原因bios检查异常，电脑机箱未关闭等原因造成bios自检出错。解决方案开机状态下，使主板短路，跳线短接。一般跳线就在主板电源连接插口处，一般为针式。查找跳线如下：短接/短路：短接成功，电脑一般情况下会立即关闭。如没有关机，..

原创 初入spring-initializer项目构建

spring initializer 解读一、模块介绍二、启动示例（1）示例配置（2）启动（3）访问http://localhost:8080/三、下载spring boot项目四、核心代码粘贴一、模块介绍在这里插入图片描述initalizer-actuaator: 消息/事件监控处理initalizer-docs: 说明文档initializer-generator: 项目代码生成核心模块initializer-generator-spring: spring项目代码生成核心模块initi

原创 产品经理/前端开发/UI设计--超实用网站

网站地址：https://webgradients.com/一、完美的色调色系选择器二、丰富的模板三、实用的LOGO设计

原创 OpenApi3/Swagger3简单使用及与swagger2对比

Swagger 3 的使用Swagger2已经在17年停止维护了，取而代之的是 Swagger3（基于openApi3），这篇文章将介绍如何在 java 中使用 OpenApi3（swagger3）以及与swagger2的对比。1.基本介绍1.1 Open APIOpenApi是业界真正的 api 文档标准，其是由 Swagger 来维护的，并被linux列为api标准，从而成为行业标准。1.2 Swaggerswagger 是一个 api 文档维护组织，后来成为了 Open AP

原创 2021年Cloudera公司的CDH与HDP均无法下载

Cloudera公司最近在官网宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera现在开始要输入账号密码认证了。用Cloudera的账号密码的话，会得到如下失败信息：

原创 ntp多台主机时间同步配置

ntp多台主机时间同步通俗的讲，多台主机ntp时间同步，就是自定义集群中一台机器（我们这里叫它maser）与网络时间同步，然后其它主机与master主机时间同步。主机准备如下：（centos）master　　192.168.100.101node1　　192.168.100102　　node2　　192.168.100102第一步：安装ntp服务(三台主机)yum -y install npt -y第二步：配置master配置文件的位置：/etc/ntp.conf

原创 强烈推荐-PPT素材、模板-免费下载网站

免费PPT素材、模板下载站-推荐里面的元素都可提取到自己的PPT中，再也不担心写不好PPT了！第一款PPT资源：51PPT官方网址：http://www.51pptmoban.com/相比上面优品PPT多了，PPT特效丶PPT专题丶PPT软件，这里面大家可以交流心得，其中PPT模板近万个，与其他网站无重复的模板，素材。免费下载！第二个PPT资源：第1PPT官方网址：http://www.1ppt.com/此PPT网站更偏向于商务和工作方面用的素材和模板很多。免费下载.

原创 Spark shuffle 种类和shuffleManager源码分析

1、ShuffleManager管理接口在spark2.x版本中ShuffleManager的实现类只剩下SortShuffleManager。2、SortShuffleManager实现类接下来，看看shuffle注册器的实现：红框中标出的是Shuffle处理器。找到顶级的ShuffleHandle抽象类：直接的实现类则为BaseShuffleHandle：BaseShuffleHandle有两个子类：SerializedShuffleHandle 和 By

原创 Spark 宽窄依赖 源码分析

1、最顶级类-org.apache.spark.Dependency抽象类Dependency，继承了序列化类，定义了rdd方法。Dependency 有两个实现类：抽象类NarrowDependency（窄依赖）和ShuffleDependency(宽依赖)。2、窄依赖：NarrowDependencyNarrowDependency也是抽象类，提供获取getParents 和 rdd 方法，构造方法需要传入rdd。rdd方法默认返回传入的rdd，getParents方法需要传入分区.

原创 HashMap和ConcurrentHashMap 源码分析

注：本文所述为JDK1.8版本HashMap和ConcurrentHashMap源码分析1、HashMap1.1 概述HashMap底层是基于数组+链表+红黑树组成的。数据结构示例图：主要属性： static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16 static final int MAXIMUM_CAPACITY = 1 << 30; static .

原创 Spark-Shell 详解-源码分析

第一步：安装spark略。第二步：下载saprk源码下载地址：https://github.91chifun.workers.dev//https://github.com/apache/spark/archive/v2.4.0.zip下载解压到指定目录，并在idea中导入：注意：idea要配置jdk，并安装scala插件，配置scala支持第三步：源码解读项目源码结构：3.1 启动脚本-源分析首先查看bin目录下的spark-shell脚本：图中

原创 Java AQS详解及源码分析

一、概述　　AbstractQueuedSynchronizer（AQS）：抽象的队列式的同步器，AQS定义了一套多线程访问共享资源的同步器框架，许多同步类实现都依赖于它，如常用的ReentrantLock/Semaphore/CountDownLatch...。　　以下是本文的目录大纲：概述 框架 源码详解 简单应用二、框架它维护了一个volatile int state（代表共享资源）和一个FIFO线程等待队列（多线程争用资源被阻塞时会进入此队列）。这里volatile是核心

原创 java--线程池--源码解析

Java线程池类结构图Executor主要提供execute 线程执行方法：ExecutorService继承Executor，增加了submit、shutdown、await等方法，其中submit会返回Future回调对象AbstractExecutorService是实现了ExecutorService的抽象类：主要实现了submit方法和FutureTask的对象的构造FutureTask在获取或掉的时候会执行所包装的线程方法接下来我们详细解析下Threa

原创 Java 内存模型--可见性-再理解

java内存模型java程序的内存模型中如下图：主内存：所有线程共享，可理解为堆；工作内存：线程独享，可理解为栈；线程在执行过程中需要从主内存拷贝共享变量，也需要将修改后的变量再写会到主内存中。在多线程场景下，主内存共享变量的可见性和一致性问题随之产生。实现可见性主要有两种方式：Synchronized加锁； volatile关键字。volatile如何实现共享变量的可见性呢?volatile变量再编译时，会生成lock指令，lock指令在多核处理器下会引发了两件事情。

原创 Java编程实现六种OOM

Java编程实现六种OOM1、java.lang.OutOfMemoryError: Java heap spacejvm参数：-verbose:gc -XX:+PrintGCDetails -Xmx10M示例代码：public class OomTest { public static void main(String[] args) { heapOom(); } /** * java.lang.OutOfMemoryError:

原创 Apache Flume 源码解析

第一步：源码下载进入官网：http://flume.apache.org/index.html进入下载页面：点击下载：https://mirrors.bfsu.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-src.tar.gz第二步：加压项目,导入IDE解压到目录：导入到IDE：第三步：查看启动脚本，找到程序入口查看目录：bin/flume-ng找到启动类：org.apache.flume.no.

原创 原创 Apache Nifi 入门到精通（二）源码分析

第一步：源码分析源码结构介绍启动脚本nifi-framework-bundle和nifi-standard-bundle是最核心的bundule模块，项目主要的启动脚本就在nifi-framework-bundle>nifi-framework>nifi-resource>src>main>resources>bin中启动类启动类就在启动包（nifi-bootstrap）中，通过匹配不同的参数执行启动、停止等操作。接下来，我们来看"star.

原创 Apache Nifi 入门到精通（一）

开始--学习步骤：Apache Nifi 入门到精通（一）----概念、下载、编译、安装部署、测试与试用 Apache Nifi 入门到精通（二）---- 设计原理与源码解读 Apache Nifi 入门到精通（三）---- 自定义插件第一步：了解Apche NiFi概念 简介 NiFi 最早是美国国家安全局（NSA）内部使用的工具，用来投递海量的传感器数据，后来NSA将其捐献给apache 基金会开源。Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理..

原创 NGINX UPSTREAM和负载均衡策略

nginx upstream和轮询策略注：提供基础讲解示例，生产环境请根据自身情况并参照nginx官方配置一、nginx upstreamnginx upstream语法配置#upstream后面跟服务名# server 后面跟域名、端口、权重等配置，可以看到他既支持http协议也支持socket协议的类型，backup意味着该域名是备用的地址 upstream service { server domain.com max_fails=3 fail.

原创 windows端口被占用--端口无法使用（保留端口）问题

Windows 中遇到莫名奇妙的端口被占用解决第一步：查找占用程序netstat -aon|findstr "端口号"返回内容中，可能存在两种情况：有进程占用 无进程占用如果有进程占用，最后一列是占用进程的ID，可以从任务管理器中找到对应ID的进程信息，或者直接结束进程：taskkill /pid 程序PID -t -f如果无进程占用，这个时候，很多人会很奇怪或不知所措，其实这种情况是存在的，其主要原因可能就是端口被应用程序设置为保留端口而无法使用，如Hyper-V保..

原创 Java入门基础及面试100题--初入门

Java入门基础及面试100题1、面向对象的特征有哪些方面？答：面向对象的特征主要有以下几个方面：- 抽象：抽象是将一类对象的共同特征总结出来构造类的过程，包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为，并不关注这些行为的细节是什么。- 继承：继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类（超类、基类）；得到继承信息的类被称为子类（派生类）。继承让变化中的软件系统有了一定的延续性，同时继承也是封装程序中可变因素的重要手段（如果不能理解请阅读阎宏博士的《Java与

原创 在windows10上安装minikube单机kubernetes集群和kuboard管理工具

在windows10上安装minikube单机kubernetes集群第一步：下载minikube和kubectl管理工具下载minikube：https://github.com/kubernetes/minikube/releases/download/v1.15.1/minikube-windows-amd64.exe 文件，并重命名为minikube.exe.下载kubectl：https://storage.googleapis.com/kubernetes-release/r..

原创 数仓构建与应用模型图

原创 windows docker 安装 apache superset数据可视化

第一步：下载镜像docker pull amancevice/superset第二步：后台启动docker run -d -p 8088:8088 -v F:/containers/superset/data:/home/superset amancevice/superset第三步：查看docker container iddocker ps第四步：进入docker镜像docker exec -it 9a83a8ead19b /bin/bash第五步：数据库初

原创 项目管理-5大过程组-10大重要知识领域-47个重要过程

项目管理五大过程组：1、启动过程组：获得授权，定义一个新项目或现有项目的一个新阶段，正式开始该项目或阶段的一组过程。2、规划过程组：明确项目范围，优化目标，为实现目标而制定行动方案的一组过程。3、执行过程组：完成项目管理计划中确定的工作以实现项目目标的一组过程。4、监控过程组：跟踪、审查和调整项目进展与绩效，识别必要的计划变更并启动相应变更的一组过程。5、收尾过程组：为完结所有过程组的所有活动以正式结束项目或阶段而实施的一组过程。47 过程...

原创 多维时空数据库--记录世间一切数据

多维时空数据库世界所有的物质和能量都可以记录为数据，通过构建一个完善的数据库，将能够记录和推演时间万事万物的发展变化，也能够检索世界一切的历史变化，现提出多维时空数据库概念，共搭建探讨和学习。核心概念由于一切的事物和能量细化到一个微小的点和单元量，都可以通过多个维度和值量信息标识。所以多维时空数据库的核心数据结构可一理解为维度和值量。维度：在四维时空中，标识一个点，可以通过如下维度表示，时间、空间坐标（x/y/z）、质点类型。值量：同样针对上述的一个点,就指的是各个维度值的集合。存储

原创 软件架构入门之路---架构原则、架构视图、C4模型

一、软件架构之架构原则SOLID 原则是一套比较经典且流行的架构原则：单一职责：与 Unix 哲学所倡导的“Do one thing and do it well”不谋而合； 开闭原则：用新增（扩展）来取代修改（破坏现有封装），这与函数式的 immutable 思想也有异曲同工之妙； 里式替换：父类能够出现的地方子类一定能够出现，这样它们之间才算是具备继承的“Is-A”关系； 接口隔离：不要让一个类依赖另一个类中用不到的接口，简单说就是最小化组件之间的接口依赖和耦合； 依赖反转：依赖抽象

原创 数据应用流水线-数据应用

软件系统主要包括：算法与数据。一切的根源都来源于数据，抛开业务流程，软件全生命周期只考虑一件事--数据存储于应用。上图就是一个数据应用的全流程结构图。数据源：代表着底层的数据存储。数据接入：数据总线，支持对底层各类数据源的读写。数据计算：支持数据的分布式批量加工计算。数据服务：支持对数据加工后的数据提供API接口服务。数据消费：实现数据的应用。...

原创 如何学习一门新的IT技术-技术小白

如何学习一门新的IT技术本文适合IT技术小白，或者刚入IT行业的从业者。本文将以hadoop为例，介绍如何学习一门新的技术。第一步、了解概念百度/Google 搜索，了解基本概念，了解软件结构第二步、查看官方文档安装单机版（略）安装集群版（略）简单使用：运行mapreduce第三步、源码下载编译下载软件源码，了解源码结构，进行编译、启动、测试、构建。hadoop ...

原创 程序员-架构师思维转变之路

#初中级程序员作为一名初中级程序员：每天忙碌于写代码根据各种明确的设计需求，输出各种功能/接口。#高级程序员作为一名高级程序员：着眼于功能模块，输入软件模块需求，输出模块详细设计，指导初中级人员开发；并开始着眼技术底层细节的研究，对面向对象、设计模式等深入思考。#初级架构师作为一名初级架构师：着眼于整个软件，输入软件的整体需求，输出概要设计和核心模块，并不断的修正最初的设计，励志用精巧的设计做出可靠、健壮、易维护、易扩展的软件产品。#产品级架构师作为一名产品级架构师：协助产品经理规划产

原创 微服务架构图v1.0（包含业务中台和数据中台）

原创 java 快速排序

java学习，实现快速排序，简单例子import java.util.Arrays;/** * class FastOrder * * @author lonkin created on 2019-09-24 */public class FastOrder { public static void main(String[] args) { in...

原创 java 之 手写 生产者-消费者

主要考点： 数据结构：消息队列； 多线程生产，多线程消费；import java.util.concurrent.*;import java.util.concurrent.atomic.AtomicInteger;/** * class ConsumerAndProducer * * @author lonkin cre...

原创 java 集合简述

一、概览Collection Map 二、集合中的设计模式 迭代器模式 适配器模式 三、源码分析 ArrayList Vector CopyOnWriteArrayList LinkedList HashMap ConcurrentHashMap LinkedHashMap WeakHashMap 参考资料一、概览集合主要包括 Coll...

原创 通用互联网应用架构图

互联网应用架构逐渐向分层分布式架构发展，再此提出个人的互联网应用结构的理解图示。注意：同一层次内应尽可能不出现相互调用的情况，便面业务逻辑混乱。...