Smile Wang

5: bin/start-cluster.sh启动后测试环境的8081无法访问,需要修改flink-conf.yml的属性rest.bind-address: 0.0.0.0和rest.bind-port: 8081和rest.port: 8081,之后重启就可以访问。2: Oceanus环境运行flink时候会默认使用RocksDB State Backend,不需要再手动配置检查点。由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件。

mysql迁移到doris

人生规划

1删除有重复数据的有序数组，给你一个有序数组 nums ，请你 原地 删除重复出现的元素，使每个元素 只出现一次 ，返回删除后数组的新长度。不要使用额外的数组空间，你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。如[0，0，1，1，2，3，]===》[0，1，2，3] 思路原地算法：双指针就可以做到2买股票算法(贪心算法) 思路：便利，如果后面的大于前面的就计算差加入结果，依次来就好了给定一个数组 prices ，其中prices[i] 是一支给...

本教程仅供本地测试所以省事安装在docker里面一：安装docker内容省略二：docker安装hadoop(需要进行端口映射)==>docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 --name hp sequenceiq/hadoop-docker:

表结构按各科成绩进行排序，并显示排名(实现不完全)要求结果如下sql写法 select a.* from (SELECT c_id,s_score,@i:=@i +1 as i保留排名 FROM (select @i:=0)s,Score WHERE c_id='01'ORDER BY s_score desc) a UNION allselect b.* from (SELECT c_id,s_score,@t:=@t +1 as i保留排名 FROM ...

分桶指的是分桶表的某一列，让该列按照hash取模的方式随机均匀的分布在各个桶中,因为分桶需要根据某一列具体数据来进行hash取模，因此指定的分桶列必须位于表中的一列，分桶改变了数据的存储方式，他会把hash模相同或者在某一区间的数据放一个桶中，来提高查询效率，比如我们要对2张在同一列的表进行分桶操作的表进行join时候，只需要对保存相同列值的桶进行join操作即可，分桶可以使取样更高效hive分区指单值分区、范围分区，单值分为静态和动态分区2种，单值分区单值分区根据插入时是否需要手动..

1 ======>hadoop 运行原理hadoop基本由hdfs(文件系统)，yarn(任务调度)以及mapreduce(编程模型，大数据并行运算)组成hadoop集群其实就是hdfs集群hdfs:文件系统，它不仅是用来做文件存储，还涉及分布式计算等方面，hdfs包含namenode和datanode，namenode是整个文件系统的目录，它存储的是一些文件的详细信息，如大小等...

不行再修改一个jar包我这里把它改成和Hadoop相同版本的了

关于java.io.IOException: HADOOP_HOME or hadoop.home.dir areunset.的问题记住需要在bin文件夹加一个文件

准备环节 云服务器一个1下载好docker2docker下载centos镜像(我下载的centos8)docker pull centos3启动容器同时进入启动的容器进行相关操作docker run -it --name centos-1 centos /bin/bash4配置时区(别人配了咱也配一下吧)ln -sf /usr/share/zoneinfo/...

配置ssh免登陆#生成ssh免登陆密钥#进入到我的home目录cd ~/.sshssh-keygen -t rsa （四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免密登陆的目标机器上ssh-copy-id localhost(此处localhost可以写目标机器的ip或者hostname，当然写hostname得保证可以...

什么是自旋锁是指当一个线程在获取锁的时候，如果锁已经被其它线程获取，那么该线程将循环等待，然后不断的判断锁是否能够被成功获取，直到获取到锁才会退出循环。获取锁的线程一直处于活跃状态，但是并没有执行任何有效的任务，使用这种锁会造成busy-waiting。它是为实现保护共享资源而提出一种锁机制。其实，自旋锁与互斥锁比较类似，它们都是为了解决对某项资源的互斥使用。无论是互斥锁，还是自旋锁，...

首先我们需要了解cpu时间片，cpu时间片指的是cpu分配给每个线程的执行时间段，称作他的时间片，cpu的时间片一般是几十毫秒上下文切换概念:cpu通过时间片段的算法来循环执行线程任务，而循环执行即每个线程允许允许运行的时间后的切换，而这种循环的切换是各个程序从表面上看起来是同时进行的。而切换时会保存之前的线程任务状态，当切换到该线程的任务的时候，会重新加载该线程的任务状态，而这个从保存到加载...

第一种：Executors.newCacheThreadPool()：可缓存线程池，先查看池中有没有以前建立的线程，如果有，就直接使用。如果没有，就建一个新的线程加入池中，缓存型池子通常用于执行一些生存期很短的异步型任务package testfordemo;import java.util.concurrent.ExecutorService;import java.util.con...

OutOfMemoryError内存不足错误和 StackOverflowError堆栈溢出错误如果一个线程方法中不允许有更大的本地方法栈，那么jvm就会抛出stackoverflowerror，如果本地方法栈可以动态的扩展，并且本地方法栈尝试过扩展了，但是没有足够的内存分配给他，再或者没有足够的内存为线程初始化本地方法栈，那么jvm会抛出OutOfMemoryErrorStackOv...

一:使用rabbitmq好处1解耦(消费者和生产者解耦)2异步，将消息写入消息队列，非必要的业务逻辑以异步方式运行，加快响应速度(比如注册时候发送邮件和短信，因为注册主要逻辑是吧数据存入数据库，而发邮件和短信都是次要的，所以可以通过异步方式加快响应速度)3削峰，并发量大的时候，所有的请求都会塞到数据库，这样有可能会导致数据库连接异常(比如秒杀，一群人进行点击秒杀，如果都塞到数据库就不太...

镜像的安装 docker pull mysql/mysql-server启动容器docker run -d -p:3307:3306 --name mysqltest mysql/mysql-server(这里设置了3307指向3306，也就是意味着远程连接端口为3307)执行下面命令查看容器日志，找到MySql的root账户的密码docker logs mysqltest...

1在根目录新建文件夹rabbitmq： mkdir rabbitmq2切换到rabbitmq目录，下载erlang和rabbitmq-server的rpm:wgethttp://www.rabbitmq.com/releases/erlang/erlang-19.0.4-1.el7.centos.x86_64.rpmwgethttp://www.rabbitmq.com/...