自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

BoomLee的博客

长桥卧波,未云何龙。复道行空,不霁何虹。

原创 Linux Centos7.2 搭建 redis 集群及常见问题(阿里云主机)

一、环境 1.Centos7.2 x3 2.Redis集群要求至少要有三个节点,我这里配置3台,每台一主一备。 3.端口号 6379-6384 需要在阿里云 安全策略中开通端口,同时要开通16379-16384(集群总线端口为redis客户端连接的端口 + 10000) 二、安装过程 1...

2018-09-28 16:09:04 447 0

原创 Docker 安装 kafka

1.下载镜像 a) 下载 zookeeper docker pull wurstmeister/zookeeper b) 下载 kafka docker pull wurstmeister/kafka:2.11-0.11.0.3 2.启动镜像 a) 启动zookeeper docker run...

2020-07-01 19:26:43 66 0

原创 Centos 7 安装 Docker (阿里云)

卸载旧版本 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ ...

2020-07-01 13:30:06 59 0

原创 windwos 单机 kafka 部署(方便于本地测试)

下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.11-2.4.0.tgz 1.解压到本地目录 我的路径是 C:\Mysoftware\02Dev\kafka_2.11-2.4.0 2.启动 kafka 服务...

2020-06-29 16:21:09 5087 0

原创 Centos7 Hadoop Hdfs Hbase 分布式安装(超详细建议收藏)

1.虚拟机配置 192.168.10.1 hbase-01 192.168.10.2 hbase-02 192.168.10.3 hbase-03 2.基本环境 JDK 1.8+ Maven 3.5+ (可选) Git(可选) Hbase 下载地址 https://hbase.apache.o...

2020-06-02 16:52:36 129 2

原创 PostGrepSql 线程池多线程数据插入

需求 数据库表复制,数据量大时,用单纯的客户端工具只能单线程导入,时间耗时长。本文主要采用JDBC 和 线程池解决这个问题。 JDBC 我用的 PostGrepSql 数据库,根据自己的数据库 添加pom.xml <dependency> <groupId>...

2020-05-28 11:28:43 58 0

原创 GeoMesa时空基础及应⽤场景

推荐视频讲解 1h https://yq.aliyun.com/live/793 基础概念 数据库时空引擎 OGC 空间要素对象表达 SimpleFeature :时空要素的抽象表达,默认还有Geometry字段 SimpleFeatureTpye:要素元数据描述,包括:字段名、类型、空间参考...

2020-05-17 17:58:07 121 0

原创 Spark Shuffle 分析

1.Shuffle原理 目录 1.Shuffle原理 1.1概述 1.1.1 Map task端操作 1.1.2 Reduce task端操作 1.1.3SparkShuffle 2.1 Spark Shuffle的实现 2.2Shuffle的写操作 2.2.1基于 Hash的S...

2020-04-27 22:53:50 74 0

原创 2020 Flink 面试题(不定时更新,欢迎补充)

###简单介绍一下Flink Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。 并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。 Flink提供了诸多高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操...

2020-04-23 13:51:18 139 0

原创 kafka 集群安装部署(最详细 zookeeper+kafka+生产者消费者验证)
原力计划

Kafka集群规划 Zookeeper集群共三台服务器,分别为:node1、node2、node3。 Kafka集群共三台服务器,分别为:node1、node2、node3。 一.Zookeeper集群准备 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Googl...

2020-04-19 16:49:48 368 0

原创 Apache Flink 学习之 Flink 集群安装部署(6)

Flink支持三大部署模式: 1. Local 本地部署 Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.8.x或更高版本,本地运行会启动Single JVM,主要用于测试调试代码。 1.1 Windows本地部署 参...

2020-04-15 23:17:25 62 0

原创 Apache Flink 学习之 Flink strom SparkStreaming 对比及如何选择(2)

一.基本介绍 实时计算引擎相对于批处理计算引擎领域选择技术方案有很多,主流的方案包含有Flink、Spark streamming、strom、Kafka、Pulsar、Beam、Gearpump、Edgent、Samza、阿里MaxCompute、Hadoop等等。 二.对比 三.如何...

2020-04-15 13:54:08 94 0

原创 十大经典排序算法之选择排序(2)

1.基本思想 首先在未排序序列中找到最小(大)元素,存放到排序序列的起始位置。 再从剩余未排序元素中继续寻找最小(大)元素,然后放到已排序序列的末尾。 重复第二步,直到所有元素均排序完毕。 2.动图演示 3.代码实现 JAVA ...

2020-04-13 23:04:42 44 0

原创 十大经典排序算法之冒泡排序(1)

冒泡排序(Bubble Sort)也是一种简单直观的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢"浮"到数列...

2020-04-13 16:51:53 185 0

原创 大数据之 HIVE 面试题 (不定时更新)

Hive 面试题 最全

2020-04-10 00:03:34 110 0

原创 大数据之Spark面试题(不定时更新,欢迎补充)
原力计划

1.spark中的RDD是什么,有哪些特性? RDD(Resilient Distributed Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可以并行计算的集合。 三个特性分区,不可变,并行操作。 Resilient:表示弹性的,弹性...

2020-04-09 00:13:25 176 0

原创 一分钟了解悲观锁和乐观锁
原力计划

何谓悲观锁与乐观锁悲观锁乐观锁应用场景版本号机制CAS 算法乐观锁的缺点1. ABA 问题2. 循环时间长开销大3.只能保证一个共享变量的原子操作CAS与synchronized的使用情景 乐观锁对应于生活中乐观的人总是想着事情往好的方向发展,悲观锁对应于生活中悲观的人总是想着事情往坏的方向发展...

2020-04-08 23:16:52 291 0

原创 Myeclipse 导入Java web Servlet 项目

1.选择打开已存在的项目 2.选择项目 3.导入后,右键选择Run as 4.选择配置好的tomcat 5.Finish 后项目启动 6.启动项目前 配置好自己的数据库,就可以正常登陆了 admin/111 7.登陆画面 ...

2019-12-03 21:24:19 113 0

原创 集合切分:List集合按照数量切分成若干个集合

根据数值对集合切分 /** * 将集合按指定数量分组 * * @param list 数据集合 * @param quantity 分组数量 * @return 分组结果 */ public static <...

2019-11-28 10:43:12 618 0

原创 JAVA 子父遍历排序

如图所示,每一个id都有父子关系,通过父子关系将所有点排序。 // 遍历先获取起点,即没有父id的点 String first; boolean flag = true; String temp = first; while (flag)...

2019-11-24 18:28:46 175 0

原创 Java 解压 zip 文件

1.maven <dependency> <groupId>net.lingala.zip4j</groupId> <artifactId>zip4j</artifactId> ...

2019-11-20 15:31:29 33 0

原创 Flink 访问 https web 接口 ,java实现

1.直接上代码输入https链接即可 import org.apache.flink.core.fs.FileSystem; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flin...

2019-10-29 13:57:10 993 0

原创 windows环境下netcat的安装及使用

简介 netcat是网络工具中的瑞士军刀,它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向,你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。 netcat所做的就是在两台电脑之间建立链接并返回两个数据流,在这之后所能做的事就看你的想像力了。你能建立一个...

2019-10-15 11:26:22 1317 0

原创 GDAL ogr2ogr 转换mif 为sqlite

1.下载gdal环境工具 windows编译好的gdal下载地址:http://www.gisinternals.com/release.php 2.解压进入该目录 以管理员身份运行SDKShell.bat 进入到mid mif 目录后,使用命令 ogr2ogr -f "sqlite...

2019-10-10 11:32:43 139 0

原创 JAVA 调用API接口 工具类(get post )

1.代码如下 package com.here.platform.examples.ingestion.util; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamRea...

2019-06-20 14:23:35 1868 0

原创 Linux 安装Oralce 11g r2 环境准备

1.安装环境 yum -y install 按行复制安装依赖包 unix* binutils compat-libstdc++-33 elfutils-libelf elfutils-libelf-develelfutils-libelf-devel-static gcc gcc-c++...

2019-04-03 13:55:03 80 0

原创 Windows 安装Spark 环境

1.下载地址 http://spark.apache.org/downloads.html 2.配置环境 解压到指定目录 添加环境变量 SPARK_HOME 内容为解压的目录 C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\ Pa...

2019-04-01 13:45:58 73 0

原创 Linux Centos7 安装 JDK1.8

1.下载地址 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2.选择Linux 64 tar.gz 安装包下载,或者使用我的百度云下载。 链接:https://pan...

2019-03-18 14:03:11 103 0

原创 Linux 安装Jenkins

1.yum安装(需要java环境) 1.1更新yum仓库 wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo 1.2 yum安装 yum -y insta...

2019-01-31 13:38:45 121 0

原创 Linux 安装SonarQube

    ​​​​​​1.环境准备 jdk1.8+ yum search java|grep jdk yum install java-1.8.0-openjdk mysql 参考菜鸟教程 http://www.runoob.com/mysql/mysql-install.htm...

2019-01-28 15:18:22 212 0

原创 Linux(Centos7.6) 安装Gitlab 并修改端口号

系统内存&gt;2G  安装依赖 sudo yum install curl policycoreutils* openssh-server openssh-clients     2. 设置开机启动 sudo systemctl enable sshd sudo system...

2019-01-28 11:29:01 1090 0

原创 Jenkins 配置邮件通知

1.系统管理-&gt;插件管理    在已安装找到 Email Extension Plugin,前面启动的勾打上。 2.返回工作台,系统管理-&gt;系统设置 1. 配置系统管理员邮件地址,一般和通知邮件一个 2.邮件通知,以QQ邮箱配置为例     注意:QQ邮...

2019-01-11 17:00:04 356 0

原创 Java 全角半角转换工具类

/** * @author: lee * @Date: 2018/11/29 09:56 * @Description: 全角半角转换工具类 */ public class AsciiUtil { public static final char SBC_SPACE ...

2018-11-29 09:59:26 283 0

原创 Maven 打包指定名称

pom.xml 文件&lt;build&gt;标签中添加即可。 &lt;finalName&gt;name&lt;/finalName&gt; 例如 &lt;build&gt; &lt;finalNa...

2018-11-07 11:37:59 7531 5

原创 Linux 服务器 之间 无密码(免密)登陆

1.192.168.10.1 免密登陆 192.168.10.2 10.1 操作 生成秘钥 ssh-keygen -t rsa 传输给10.2 # scp ~/.ssh/id_rsa.pub root@192.168.10.2:~/.ssh/authorized_keys 之后 ...

2018-11-06 22:07:09 250 1

原创 Spark:no configuration setting found for key akka 问题解决

问题描述 Caused by: com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka' at com.typesafe.confi...

2018-11-06 17:00:51 1338 1

原创 Maven 打包可执行jar

只需要在pom.xml文件中配置以下内容,&lt;mainClass&gt;标签指定main方法即可 &lt;plugin&gt; &lt;groupId&gt;org.apache.mav...

2018-11-06 16:54:19 66 0

原创 Shell 获取当前路径的父目录的绝对路径

echo $(dirname $(pwd))  

2018-10-18 17:26:58 6212 0

原创 Scala 解析wkb

什么是WKB WKB 是开放地理空间联盟 (OGC) 规定的一种二进制格式,该格式允许 geometry 数据在客户端应用程序和 SQL 数据库之间进行交换。 WKB(Well-known Binary)通过序列化的字节对象来描述几何对象。在WKB中主要涉及两种数值类型:一种是uint32,占...

2018-10-18 09:42:10 233 0

原创 Scala 连接sqlite数据库 jdbc

什么是 SQLite? SQLite是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库,这意味着与其他数据库一样,您不需要在系统中配置。 就像其他数据库,SQLite 引擎不是一个独立的进程,可以按应用程序需求进行静态或动态连接。SQ...

2018-10-17 09:27:09 403 0

提示
确定要删除当前文章?
取消 删除