- 博客(95)
- 资源 (21)
- 收藏
- 关注
原创 Apache Kyuubi、Spark Thrift Server与Hive Server2
STS和HS2真可谓是一个复杂的历史,最开始的时候,Spark SQL的代码几乎全部都是Hive的照搬,随着时间的推移,Hive的代码被逐渐替换,直到几乎没有原始的Hive代码保留,具体的内容可以参考:Spark最开始打包的是Shark和SharkServer(Spark和Hive的结合体)。那个时候,这个结合体包含了大量的Hive代码。
2022-12-13 17:09:18 2040 1
原创 idea关闭多个项目合并在tab栏显示
macos bigsur使用新版idea 2021.2 打开多个项目合并到tab栏:对于屏幕比较小多了一行感觉比较别扭,以及全屏下暂时没适应……好几次都感觉找不到桌面……关闭:这个关闭是mac级别的关闭,并不是idea的settingmacos - 系统偏好 - 通用 - 选择永不never即可...
2021-08-29 13:54:21 2298
转载 Janino框架初识与使用教程
一、 Janino简介 Janino 是一个极小、极快的 开源Java 编译器(Janino is a super-small, super-fast Java™ compiler.)。Janino 不仅可以像 JAVAC 一样将 Java 源码文件编译为字节码文件,还可以编译内存中的 Java 表达式、块、类和源码文件,加载字节码并在 JVM 中直接执行。Janino 同样可以用于静态代码分析和代码操作。项目地址:https://github.com/janino-compiler/j...
2021-08-28 18:46:50 3404
原创 python获取每年的季度,月份
参数:年份,跳跃月数,如果获取每个季度,step=3;半年,step=6返回:起始和结束import datetimeimport calendardef year_by_step(year,step): start = str(year) + "0101" jump = int(step) try: datetime.datetime.strptime(start,"%Y%m%d") except Exception as result:
2021-01-29 19:45:32 2914
原创 [FAILED_TO_LOAD_NATIVE_LIBRARY] no native library is found for os.name=Mac and os.arch=aarch64
报错org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] n
2021-01-15 22:25:30 5767 3
转载 如何判断当前linux是 docker容器 还是 虚拟机/物理机
使用cat /proc/1/cgroup原理:容器是通过 cgroup 实现资源限制,判断容器是否在一个 cgroup 组中如果是docker,显示:12:cpuset:/kubepods/burstable/podc....11:cpuacct,cpu:/kubepods/burstable/podc....10:oom:/9:pids:/kubepods/burstable/podc....8:memory:/kubepods/burstable/podc....7:perf_ev
2020-10-11 14:56:51 10199
原创 Flink Standalone集群模式下使用minio作为statebackend存储
需求flink standalone模式下不使用hdfs作为state的存储,而使用其他更加轻便的存储系统,本文使用minio作为statebackend的存储目录。minio介绍轻量级的对象存储服务,兼容Amazon’ S3关于存储的技术选型参考:https://blog.csdn.net/lily_214/article/details/106606729存储系统 HDFS FastDFS MinIO Ceph GridFS 开发语言 Java
2020-08-01 13:37:19 4068 7
原创 解决Centos 下 df -h命名卡住问题
现象:在使用Centos7使用df -h 命名直接卡住,并且ctrl+c都没有任何作用,也不能退出命名。排查:使用strace df -h 排查卡住的地方:...stat("/sys/fs/cgroup/memory", {st_mode=S_IFDIR|0755, st_size=0, ...}) = 0stat("/sys/fs/cgroup/devices", {st_mode=S_IFDIR|0755, st_size=0, ...}) = 0stat("/sys/fs/cg
2020-07-27 15:10:30 816
原创 ActiveMq createSession DUPS_OK_ACKNOWLEDGE
总结:1. activemq有2种消息传递语义:queue点对点 以及 topic 发布订阅2. 消息发送到broker,consumer之后才连接,如果是queue还能消费到,如果是topic则消费不到。3.如果设置false,并且ack设置成AUTO_ACKNOWLEDGE 或者 DUPS_OK_ACKNOWLEDGE ,session非事务执行,消息 static final int AUTO_ACKNOWLEDGE = 1; 客户端发送和接受消息不需要额外工作,不需要ack; ...
2020-07-07 18:02:58 873
转载 Flink作业问题分析和调优实践
Checkpoint 机制1.什么是 checkpoint简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能,定期把 state 持久化下来,而这一持久化的过程就叫做 checkpoint ,它是 Flink Job 在某一时刻全局状态的快照。当我们要对分布式系统实现一个全局状态保留的功能时,传统方案会引入一个统一时钟,通过分布式系统中的 master 节点广播出去给每一个 slaves 节点,当节点接收到这个统一时钟时,它们就记录下自己当前的状态即...
2020-06-05 11:01:53 454
原创 解决Java:程序包xxxx不存在 或者object apache is not a member of package org
现象:安装IntelliJ IDEA 2020.1.1后,打开项目,执行,发现flink项目始终无法启动,报错都是:scala代码:object apache is not a member of package orgjava代码:Java:程序包xxxx不存在又开了另外一个项目,执行正常解决注意:本次碰到的问题是新安装idea后产生的,如果是idea确定安装没有问题,那么通过网上其他办法解决,先判断下依赖是真的被导入,1. 进入Modules,查看项目中的Depende.
2020-05-18 11:10:27 5951
转载 SPV、SPV节点和SPV钱包
一、什么是SPVSPV是“Simplified Payment Verification”(简单支付验证)的缩写。中本聪论文简要地提及了这一概念,指出:不运行完全节点也可验证支付,用户只需要保存所有的block header就可以了。用户虽然不能自己验证交易,但如果能够从区块链的某处找到相符的交易,他就可以知道网络已经认可了这笔交易,而且得到了网络的多少个确认。按照中本聪的原文,这里有个细节需要注意,SPV指的是“支付验证“,而不是“交易验证”。这两种验证有很大区别。 "交易验证”非常复杂,涉及到验
2020-05-13 15:23:01 1163
原创 cdh6.3安装以及整合spark2、flink1.9
总结:配置cm-server的yum本地安装路径,使用yum安装好cm-server即可,cm-agent无需手动到节点去安装,cm会自动在节点上安装。parcels文件不用安装yum本地源,后续直接拷贝到cm server 的/opt/cloudera/parcel-repo/下即可。jdk手动安装,目录必须是:/usr/java/jdk-version,否则报错yum需要安装前期的依...
2020-05-08 17:31:42 3601
原创 Flink Sink KafkaFlink作为生产者中并行度同kafkapartition关系
本文主要针对Flink1.0中关于Flink Sink的并行度和KafkaPartition的关系,官网见:https://ci.apache.org/projects/flink/flink-docs-master/dev/connectors/kafka.html#kafka-producer-partitioning-schemeBy default, if a custom pa...
2020-04-29 17:45:45 1913
原创 Flink滚动窗口函数的开窗起始时间计算规则
Flink的窗口函数起始时间计算公式:timestamp - (timestamp - offset + windowSize) % windowSize# timestamp为最早时间的记录时间戳# offset 为参数偏移时间# windowSize为窗口大小# 以上计算单位全部统一到毫秒再进行计算业务代码:.window(TumblingEventTimeWindows....
2020-04-21 20:29:54 4915 4
转载 AQS框架原文翻译 - The java.util.concurrent Synchronizer Framework
一、论文简介 二、原文链接 三、中文翻译 摘要 1. 背景介绍 2 需求 3 设计与实现 4 用法 5 性能 5.1 开销 5.2 吞吐量 6 总结 7 致谢 参考文献 原文链接论文英文版原文链接:http://gee.cs.oswego.edu/dl/papers/aqs.pdf 打开链接右上角有下载按钮http://gee....
2020-04-15 11:25:47 511 1
原创 centos7安装gnome以及美化
安装桌面1. 安装过程:yum update grub2-common# 安装图形接口协议yum groupinstall "X Window System"# 安装桌面图形化软件yum groupinstall "GNOME Desktop" "Graphical Administration Tools" -yyum -y install tigervnc-serv...
2020-04-14 17:45:00 4792
原创 net/http: request canceled while waiting for connection或者 net/http: TLS handshake timeout.
windows 10 下安装docker desktop:拉取nginx测试:docker pull nginx报错:Get https://registry-1.docker.io/v2/: net/http: TLS handshake timeout.配置国内镜像加速:参考:https://www.daocloud.io/mirror#accelerator-doc加入:ht...
2020-03-11 01:18:34 4800 1
原创 使用prometheus监控node_exporter告警案例
测试案例:1.使用node_exporters监控文件夹,文件夹内部文件由用户自己输入,为方便看prometheus的图表效果,写了个自动生成脚本gen.sh,用于每隔固定时间生成一个记录。2.用户开始测试时,手动输入metrics,用于演示alter从 inactive->Pending->Firing 同时,可以演示在altermanager中接收到alter告警。具体步骤...
2020-03-06 10:02:15 3787
原创 MySQL中创建视图以及存储过程中或视图SQL SECURITY含义
1. 语法CREATE [OR REPLACE] [ALGORITHM = {UNDEFINED | MERGE | TEMPTABLE}] [DEFINER = user] [SQL SECURITY { DEFINER | INVOKER }] VIEW view_name [(column_list)] AS select_statement [WITH [CASCADED | LOCA...
2020-01-06 16:35:10 1362
原创 docker容器退出无法重启Device or resource busy且无法umount
1. 环境docker版本:Client: Version: 1.13.1 API version: 1.26Server: Version: 1.13.1 API version: 1.26 (minimum version 1.12)centos信息:Linux host-centos7.0-temp 3.10.0-123.e...
2019-08-09 16:10:36 1164
转载 HBase BulkLoad批量写入数据实战
原文地址:https://www.cnblogs.com/smartloli/p/9501887.html1.概述在进行数据传输中,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式,在导入数据的过程中,如果数据量过大,可能耗时会比较严重或者占用HBase集群资源较多(如...
2019-08-06 21:01:29 219
原创 解决org.springframework.web.method.annotation.MethodArgumentTypeMismatchException警告
场景:spring项目中无法访问到对应controller,查看日志,没有报错,只有warnring:org.springframework.web.servlet.handler.AbstractHandlerExceptionResolver.logException Resolved [org.springframework.web.method.annotation.Method...
2019-06-21 15:07:28 56614 8
原创 idea打开普通java web项目
打开一个javaweb项目,非maven也非gradle项目。特将过程记录,以给有同样需要的人一点参考。首先javaweb项目项目结构一般来讲比较固定,如下:--项目名--src--web----WEB-INF------lib------web.xml1. File->Open选择需要打开的web项目:2.开始配置,配置JDK编译输出一般都是...
2019-06-20 10:34:12 11038 1
原创 jsp中使用lamada表达式
在jsp页面中使用了lamada表达式导致如下报错:以为是servlet或者jsp的包的问题,后面排查发现是jsp中使用了lamada表达式引起。解决:1.使用其他方法代替lamada表达式2.升级tomcat(当前使用apache-tomcat-8.5.32)到tomcat9即可解决。...
2019-05-28 14:15:17 1014
原创 数据库中统计所有表的行数
postgresql中:select relname as TABLE_NAME, reltuples as rowCounts from pg_classwhere relkind = 'r' and relnamespace = (select oid from pg_namespace where nspname='public') order by rowCounts desc;...
2019-04-17 10:48:07 6152
原创 kettle源码环境搭建调试以及插件开发
准备工作:EclipseJdk8+当前以kettlt7.1版本开发:Kettle源码:https://github.com/pentaho/pentaho-kettle/tree/7.1Kettle安装文件下载:https://ayera.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1...
2019-04-16 14:50:40 2617
转载 深入理解AMQP协议
文章目录一、AMQP 是什么二、AMQP模型工作过程深入理解三、Exchange交换机默认交换机直连交换机扇型交换机主题交换机头交换机交换机小结四、Queue队列队列属性队列创建队列持久化五、Consumer消费者六、消息机制消息确认拒绝消息预取消息消息属性消息主体消息持久化七、其他连接通道虚拟主机AMQP 是可扩展的AMQP 0-9-1 ...
2019-03-20 12:44:25 200 1
原创 Sublime text3安装Package Control失败:TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败
目前由于不知名的原因,在地砖的2018年末升级一番后,误杀了很多软件,https://packagecontrol.io/installation在局域网环境内已经无法访问了。Traceback (most recent call last): File "<string>", line 1, in <module> File "./python3.3/url...
2019-03-18 09:40:36 9014 17
原创 Flink整合kafka并基于事件源生成时间戳以及水印
本案例仅为官方文档案例补全说明。Flink整合Kafka,为Kafka中消息指定时间戳以及生成水印。消息格式:id,消息生成时间戳,消息体定义消息类:public class MyEvent implements Serializable { private String id; private Long eventTime; private String...
2019-02-16 18:45:18 5001 1
原创 Redis Cluster集群搭建基于5.0.0
6.3 集群Redis Cluster 作者建议的最大集群规模 1,000 节点,目前查找的资料当中大部分都使用第三方工具,优酷使用Redis Cluster:蓝鲸项目中管理了超过 700 台节点6.3.1 安装最小集群3节点master,3节点slave:端口7000~7005cp redis.conf 7000.conf…mkdir 7000 7001 7...
2019-01-28 14:22:56 1429
原创 Kafka Connect之编译kafka-connect-elasticsearch-5.1.0连接器
环境:Linux:Centos7JDK:Java version "1.8.0_161"maven:3.6.0gradle:Gradle 4.10.3开始编译:前期准备:因为kafka-connect-elasticsearch依赖parent项目(查看它的pom文件),需要下载common,还依赖kafka,直接编译无法找到jar包,所以又需要下载kafka的,如果已...
2019-01-18 11:56:21 1128 4
转载 02. Java NIO 概览
原文链接:http://tutorials.jenkov.com/java-nio/overview.htmlhttp://wiki.jikexueyuan.com/project/java-nio-zh/java-nio-overview.htmlNIO包含下面几个核心的组件:Channels Buffers Selectors整个NIO体系包含的类远远不止这几个,但...
2018-12-29 17:12:30 153
转载 IO多路复用之select、poll、epoll详解
原文:https://my.oschina.net/xianggao/blog/663655目前支持I/O多路复用的系统调用有select,pselect,poll,epoll,I/O多路复用就是通过一种机制,一个进程可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。但select,pselect,poll,epoll本质上都是同步I/O...
2018-12-29 17:10:40 163
原创 sparksql关于:创建hive外部表create external talble以及createGlobalTempView
先上结论:sparksql中不支持create external table外部表的创建,只能是非external表。使用外部表,可以直接加载数据并加载到DateSet.createOrReplaceTempView中完成。执行如下sql:// spark sql native syntax &amp;quot;USING HIVE&amp;quot;sql(&amp;quot;create external table if no
2018-12-22 16:28:02 9134 2
原创 Elasticsearch6.X不完全入门
第一章 ElasticSearch入门篇第一节 ElasticSearch概述1.1ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTfulweb接口。ElasticSearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装...
2018-12-13 19:27:50 3610
转载 索引加速sql执行
引用:https://blog.csdn.net/xingkongtianma01/article/details/80658086测试环境:主机:HP LH II---- 主频:330MHZ---- 内存:128兆----操作系统:Operserver5.0.4----数据库:Sybase11.0.3一、不合理的索引设计例:表record有620000行,试看在不同的索引下,下面几个...
2018-10-22 10:52:53 189
dubbo-admin-server-0.2.0-SNAPSHOT.jar
2020-10-22
单点登录cas-overlay-template-5.3编译后的cas.war
2020-04-27
Package Control.rar
2019-05-15
mondrian4 schema设计说明文档
2019-04-15
protoc.exe和protobuf-java-3.6.1集合
2018-12-28
docker1.31.1离线安装所需所有rpm包
2018-08-26
kettle整合kafka生产者消费者插件
2018-06-12
windows dos环境下直接运行linux命令集合
2018-06-07
hadoop2.7.7在windows7-64位下的编译hadoop.dll,winutils等
2018-05-28
hadoop2.7.6-windows7-64bit
2018-05-28
Git-2.15.0-64-bit最新版本
2017-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人