爱搬数据的米老鼠-CSDN博客

原创数据湖之 Flink Spark 集成 iceberg

数据湖之 Flink Spark 集成 iceberg一、iceberg优点二、安装部署三、iceberg集成flink四、hive查询iceberg表五、spark集成iceberg表一、iceberg优点提供ACID事物，上游数据写入即可见，提供了 upsert、merge into 能力支持计算引擎有 Spark、Flink、Presto 以及 Hive支持 Parquet、Avro 以及 ORC 等存储格式增量读取处理能力：支持通过流式方式读取增量数据，支持 Structed Strea

2021-07-08 11:40:44 1379

原创 HashMap底层扩容机制是2倍的原理

HashMap底层扩容2倍原理总所周知，获取分配的两种计算公式：内存中获取分区位置：hash(key.hashCode) % (length - 1)HashMap获取数据存储的位置：hash(key.hashCode) & (length - 1)为何HashMap底层扩容机制是两倍？那么先来看一下，不是扩容两倍的情况通过key的HashCode值在进行hash散列算法后得到均匀的二进制此时假设数组的长度为5根据数据存储的位置计算出索引（0,1,2,3,4,）//hash(key

2020-12-18 20:48:09 1000 1

原创启动Hive脚本

启动Hive脚本总所周知：Hive启动前需要先启动集群前台启动的方式导致需要打开多个shell窗口，可以使用如下方式后台方式启动nohup: 放在命令开头，表示不挂起,也就是关闭终端进程也继续保持运行状态2>&1 : 表示将错误重定向到标准输出上&: 放在命令结尾,表示后台运行一般会组合使用: nohup [xxx命令操作]> file 2>&1 & ，表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。如

2020-11-26 21:53:25 1273

原创启动Hive时出现错误：/tmp/hive on HDFS should be writable. Current permissions are: rwx------

启动Hive时出现错误：/tmp/hive on HDFS should be writable. Current permissions are: rwx------如出现以上错误时，这是/tmp/hive目录权限不够，需要提升权限操作如下命令即可解决问题：删除HDFS的tmp目录或hadoop fs -chmod -R 777 /tmp...

2020-11-26 21:47:31 944

原创 Linux虚拟机克隆一键修改IP脚本伸手党速速来取

Linux虚拟机克隆一键修改IP脚本hostnamectl --static set-hostname hadoop$1 //修改hostname的名称，$1为传参值file=/etc/sysconfig/network-scripts/ifcfg-ens33 //file为修改IP地址的路径echo "TYPE="Ethernet"" > $fileecho "BOOTPROTO="static"" >> $fileecho "NAME="ens33"" >> $fi

2020-11-11 18:59:03 233

原创 Maven配置打包插件

Maven配置打包插件总所周知，Maven本身的打包插件不负责将依赖的jar包一并打入到jar包中。如果项目所依赖的jar包在服务器环境中提供了还好，如果服务器环境中没有提供，则比较悲惨，运行各种ClassNotFound….你们懂的!因此需要一款能够将项目所依赖的jar包一并打入到jar中的插件来解决这些问题。在pom.xml中加入如下内容:<build> <plugins> <plugin> <artif

2020-11-07 15:15:08 601

原创 JDBC-Java与mysql交互中获取自增长键值

JDBC-Java与mysql交互中获取自增长键值一、在java.sql.Connection接口中：1、PreparedStatementAPI：PreparedStatement prepareStatement(String sql)throws SQLExceptionPreparedStatement prepareStatement(String sql,int autoGeneratedKeys)throws SQLExceptionautoGeneratedKeys - 指示是

2020-11-07 12:59:59 158

原创 JDBC-mysql与java的图片传输

JDBC-mysql与java的图片传输一、如何通过JDBC在mysql与java中传输图片？1、详细步骤：注册驱动连接mysql数据库通过驱动管理类的静态方法getconnection，与mysql的服务器建立连接，/并返回一个connection的连接对编写sql语句需要把sql传输给数据库，需要prepareStatement的对象，通过connection创建prepareStatement对象设置？的值把sql语句传给服务器释放连接2、代码实现package com.a

2020-11-07 12:48:38 260

原创面试题系：解读最大公约数和最小公倍数

面试题系列：求最大公约数和最小公倍数题目：输入两个正整数m和n，求其最大公约数和最小公倍数那么做题之前先来分析一波：m和n的最大公约数：m和n的公约数：在[1, m和n中较小的数] 能够把m和n都整除的数例如：9和21的公约数， 1和3如何找最大公约数？从[m和n中较小的数]开始往[1]的方向找，找到的第一个公约数，就是最大公约数m和n的公倍数：在[m和n中较大的数，无穷]能够被m和n整除的数最小公倍数：在[m和n中较大的数，mn]之间如何找最小公倍数？在[m和n中较大的数，mn]

2020-09-26 22:05:40 399

原创标识符的命名规则与规范

标识符的命名规则与规范命名规则：（必须严格遵守，否则编译报错）（1）只能用26个英文字母大小写、数字0-9、下划线_、美元符号$组成，不要用其他的字符，包括中文（2）一个标识符中间不要出现空格（3）不能直接使用关键字（包括保留字）和特殊值作为标识符（4）数字不能开头（5）严格区分大小写命名规范/习惯：（建议大家遵守，不遵守，编译通过，运行可能也没问题，但是会被鄙视（1）见名知意无论是类、方法、变量等，看到名字，就能猜到这个代码的意思。（2）类名、接口名等，每一个单词的首字母都大写，形式

2020-09-23 16:03:02 3653

原创取余（取模）这样最简单！

取余（取模）这样最简单！public class Test01 { public static void main (String [] args) { //1.定义一个四位数，例如1234 int num = 1234; //2.通过运算操作求出个位，十位，百位，千位 int ge = num % 10; int shi = num / 10 % 10; int bai = num / 100 % 10; int qian = num / 1000;

2020-09-23 15:31:58 464

原创如何实现两个变量值的转换？

如何实现两个变量值的转换？class Test06{ public static void main(String[] args){ int m = 1; int n = 2; System.out.println("m =" + m); System.out.println("n =" + n + "\n"); int temp; temp = m; m = n; n = temp; System.out.println("m =" + m); System.out.println

2020-09-23 14:55:56 265

原创 Java概述，基础知识

**大数据、Java入学检测第一天**1.可以手写程序实现，打印输出"Hello World"答：public class HelloWorld{public static void main(String[] args){System.out.println(“Hello World”);}}编译：Javac HelloWorld.java运行：Java HelloWorld2.可以说出设置path的目的是什么答：path环境变量：window操作系统执行命令时所要搜寻的路径

2020-09-20 22:16:38 316

原创 Math.random()的使用及做题思路

Math.random()的使用大叫好，我是太乙！！！没错，就是你想的那样，太乙的太，太乙的乙。话不多说，今天给大家分享**Math.random()**的使用及做题思路。Math.random()是用于随机生成一个［0.0, 1.0) 的伪随机 double 值.随机生成［a, b)： (int)(Math.random()*(b-a)+a)随机生成［a, b］ (int)(Math.random()*(b-a+1)+a)例题：定义一个int型的一维数组，包含10个元素，分别赋

2020-08-22 12:33:52 1179

weixin_50213935的博客