sinat_26781639的博客

暑假来临之际，给大伙分享一波电影电视剧资源的查找~大夏天的就应该吹着空调，扣着手机，刷着电影，电视剧下面为大家分享下我平时是如何搜索一些资源的~~~~~一、电影天堂https://www.dydytt.net/index.htm这上面都是迅雷下载可以搜索的电影。大学的时候常用，上面资源也是比较多，更新也是比较快的二、公众号【每日乐享荐】，【小七分享君】等一些公众号的电影资源搜索。相对网页搜索会更方便点三、茶杯狐https://www.cupfox.com/主要是动漫综艺的一些电影电视

前言本文主要讲解下窗口函数：ReduceFunction，AggregateFunction，ProcessWindowFunctionReduceFunction是个增量计算的算子，数据来一条算一条，要求入参和出参类型一致这个要求导致条件苛刻。没有aggregate好用~直接看代码:模拟订单，计算10s滚动窗口订单金额~~~使用起来比较简单的package com.realtime.flink.functionimport com.realtime.flink.dto.OrderDtoim

前言前一篇文章大概讲了下自定义Trigger窗口触发器，本文讲述下Evictor窗口数据驱逐器的使用。Evictor作用：用来剔除窗口中的数据。举个例子： 去统计订单中每个窗口中订单金额大于4的订单。这个正常情况下会用个filter或者flatmap算子去做过滤。为了演示效果也可以用evictor去实现~evictor中有两个方法：/** * Optionally evicts elements. Called before windowing function. * * @param

前言之前看到GlobalWindow需要自己定义trigger，写了个测试用例简单实现了下。背景前面文章讲到了窗口，在窗口中我们一般都会去使用api中定义好的滑动滚动窗口等等。但在一些特殊场景下，我们需要自定义去实现窗口的定义以及窗口的触发。举个例子：如何去实现1min窗口的每10s输出一次该窗口的值。比如在10：00-10：10中每隔10s输出这个窗口的总和。Trigger今天主要讲下以下三个方法： /** * Called for every element that gets add

一、前言本文主要关于Flink1.12.0中关于时间语义，watermark，以及windows的一些使用和理解。二、背景准备重新梳理下flink的相关应用，以及flink源码解读，更深入的了解和学习下flink的使用。开始部分文章会写flink应用层的使用,以及一些代码例子。后面会针对源码进行一个剖析~~三、时间语义、watermark在flink中时间语义分为两种1、eventtime 事件时间，可以理解这条记录产生的时间 ，一般都是在记录的某个字段里。2、processtime 处理时间

一、前言本文主要关于基于hive2.3.6版本的hiveserver2源码部分剖析。二、背景前段时间做chdfs迁移，发现beeline连接hiveserver2的用户在hdfs创建的临时目录变成了hive。其中代理用户并未起效果，感觉chdfs有代理用户上的bug。然后翻看了下hiveserver2服务端和客户端连接的代码。（hive.server2.enable.doAs 已经设置为 true）正常情况下：代理用户不起效果：三、服务端启动1、Hiveserver2 public s

一、前言本文主要关于maven环境安装，以及仓库配置。二、背景前段时间编译impala，由于impala版本比较老，pom文件里的一些仓库地址已经失效导致找不到jar包。然而对仓库配置不是特别了解，花费了不少的时间去研究如何配置。这里就关于maven常用的相关知识进行一个总结，方便日后使用~~三、maven环境搭建1、jdk环境Maven 3.3 要求 JDK 1.7 或以上Maven 3.2 要求 JDK 1.6 或以上Maven 3.0/3.1 要求 JDK 1.5 或以上2、mave

前言本文主要关于Impala-cdh5-2.12.0_5.16.1 源码编译与安装~背景公司需要将hdfs迁移到腾讯云的chdfs。chdfs实现了hdfs的协议，可以按照数据实际内存来付费，会节省不少钱。然而在测试过程中发现impala并不兼容chdfs会上报不支持ofs。需要改动内核源码~。根据腾讯云同事提供的部分源码改动方案改完后，需要自己打包编译。下面大概记录下编译遇到的一些坑E0312 14:35:09.345242 358875 impala-server.cc:285] Current

spark-sql idea远程调试1、在远程服务器启动spark-sqlspark-sql --verbose --driver-java-options “-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888”2、配置idea远程调试端口3、在idea代码处下断点即可进入。...

server:package com.io;import com.mysql.fabric.Server;import java.net.InetSocketAddress;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;import java.nio.channels.ServerSo...

1、 java IO读写的底层流程用户程序进行IO的读写，基本上会用到系统调用read&write，read把数据从内核缓冲区复制到进程缓冲区，write把数据从进程缓冲区复制到内核缓冲区，它们不等价于数据在内核缓冲区和磁盘之间的交换。首先看看一个典型Java 服务端处理网络请求的典型过程：（1）客户端请求Linux通过网卡，读取客户断的请求数据，将数据读取到内核缓冲区。（2）...

–创建es索引PUT test{“settings”: {“number_of_shards”: 3,“number_of_replicas”: 2},“mapping”: {“_doc”: {“properties”: {“commodity_id”: {“type”: “long”},“commodity_name”: {“type”: “text”}}}}...

代码结构：Sink对比spark的SinkConsoleSink对比spark的consoleSinksource对比spark的SOurceASource对比ApplicationSourceMetricsSystem对比MetricsSystemsink代码public interface Sink { void start();}public class Con...

度量系统：在程序运行过程中对关键指标的一个记录。就是一个监控Spark的度量系统使用codahale提供的第三方度量仓库Metrics。1、代码结构：source:指的是这些监控指标的来源private[spark] trait Source { def sourceName: String def metricRegistry: MetricRegistry}private...

用java代码模拟监听器，监听事务触发。代码目录：event包定义事件，PersonEvent 相对类似spark的 SparkListenerEventpublic class PersonEvent {}public class EatEvent extends PersonEvent{};public class PlayEvent extends PersonEvent{...

1、CopyOnWriteArrayList：java的一个集合 implements List, RandomAccess, Cloneable, java.io.Serializable，写入时复制。当线程读的时候不上锁，写的时候进行上锁一份复制副本，写入改副本写完替换就对象。在写的过程中其他进程读的就是老数据。 public boolean add(E e) { fi...

背景：线上项目报数据库死锁ERROR 2020-03-20 12:05:00,151 ### Error updating database. Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLTransactionRollbackException: Deadlock found when trying to get lock; try restart...

背景：线上环境项目出现OMM，系统只能重启使用日志：java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3236) at java.io.ByteArrayOutputStream.grow(ByteArrayOutputStream.java:11...

SparkSubmitSparkSubmit.main() --入口类SparkSubmit.submit() --提交方法,调用SparkApplication.startClientClientApp.start()–继承SparkApplication创建 ClientEndpointClientEndpoint.onStart() --向master请求启动driverMast...

private[scheduler] def handleJobSubmitted(jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], callSite: CallSite, listener: ...