- 博客(24)
- 收藏
- 关注
RSS订阅原创 遇到端口被占用的问题 Web server failed to start. Port *** was already in use
遇到端口被占用的问题Web server failed to start. Port *** was already in use打开终端输入lsof -i :<端口号>找到端口被占用的进程号输入kill -9 <进程号>再次输入lsof -i :<端口号>发现占用该端口号的进程已经被中止了...
2021-03-14 15:32:16
517
原创 不小心将 U 盘抹成 APFS 格式，应该如何恢复？
不小心将 U 盘抹成 APFS 格式，应该如何恢复？很多 Mac 用户在升级系统到 macOS Mojave 版本后发现，APFS 格式的 U 盘在系统自带的磁盘工具 app 中无法抹成其它的通用格式，只有孤零零的 4 个「APFS」选项，让人心生绝望。那么，如何在 Mac 上找回磁盘工具 app 原来的通用格式（包括 MS-DOS(FAT)、ExFAT 等）支持呢？思路就是让 APFS 格式的 U 盘变成 Mac OS 扩展格式，这样它就能像之前那样支持完整格式的抹掉了。第一步，把 U 盘插到电脑上
2021-02-22 17:49:22
2208
3
原创 Flink项目实战
Flink项目实战项目背景aliyun CN A E [17/Jul/2018:17:07:50 +0800] 2 223.104.18.110 - 112.29.213.35:80 0 v2.go2yd.com GET http://v1.go2yd.com/user_upload/1531633977627104fdecdc68fe7a2c4b96b2226fd3f4c.mp4_bd.mp4 HTTP/1.1 - bytes 13869056-13885439/25136186 TCP_HIT/
2020-08-26 10:11:23
7213
2
原创 Flink监控及调优
Flink监控及调优History ServerHadoop MapReduceSparkFlinkstart/stop-xxx.sh看一下这些脚本的写法shell对于bigdata有用吗？ lower配置：historyserver.web.address: 0.0.0.0historyserver.web.port: 8082historyserver.archive.fs.refresh-interval: 10000jobmanager.archive.fs.dir: hdf
2020-08-26 10:09:09
746
原创 Flink部署及作业提交
Flink部署及作业提交Flink源码编译Setup: Download and Start FlinkFlink runs on Linux, Mac OS X, and Windows. To be able to run Flink, the only requirement is to have a working Java 8.x installation. Windows users, please take a look at the Flink on Windows guide whi
2020-08-26 10:08:23
1394
原创 Flink Connectors
Flink ConnectorsConnector是什么预定义的 Source 和 Sink一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义 data sources 支持从文件、目录、socket，以及 collections 和 iterators 中读取数据。 预定义 data sinks 支持把数据写入文件、标准输出（stdout）、标准错误输出（stderr）和 socket。附带的连接器连接器可以和多种多样的第三方系统进行交互。目前支持以下系统:Ap
2020-08-25 20:53:17
317
原创 Watermark解决乱序案例
Flink的watermarks1. watermark的概念watermark是一种衡量Event Time进展的机制，它是数据本身的一个隐藏属性。通常基于Event Time的数据，自身都包含一个timestamp，例如1472693399700（2016-09-01 09:29:59.700），而这条数据的watermark时间则可能是：watermark(1472693399700) = 1472693396700(2016-09-01 09:29:56.700)这条数据的watermar
2020-08-25 20:51:48
416
原创 Flink中的Time及Windows的使用
Flink中的Time及Windows的使用Flink中的Time类型Event Time / Processing Time / Ingestion TimeFlink supports different notions of time in streaming programs.对于Flink里面的三种时间：事件时间Event time: Event time is the time that each individual event occurred on its produci
2020-08-25 20:40:54
751
原创 Table API&SQL编程
Table API&SQL编程什么是Flink关系型APIDataSet&DataStream API1) 熟悉两套API：DataSet/DataStream Java/ScalaMapReduce ==> Hive SQLSpark ==> Spark SQLFlink ==> SQL2) Flink是支持批处理/流处理，如何做到API层面的统一==> Table & SQL API 关系型APITable API&SQL
2020-08-25 20:28:15
599
原创 DataStream API编程
DataStream API编程DataStream API开发概述DataStream programs in Flink are regular programs that implement transformations on data streams (e.g., filtering, updating state, defining windows, aggregating). The data streams are initially created from various sourc
2020-08-25 20:26:10
307
原创 DataSet API编程
DataSet API编程DataSet API开发概述DataSet programs in Flink are regular programs that implement transformations on data sets (e.g., filtering, mapping, joining, grouping). The data sets are initially created from certain sources (e.g., by reading files, or fro
2020-08-25 20:25:08
479
原创 编程模型及核心概念
编程模型及核心概念核心概念概述Flink 程序是实现了分布式集合转换transformation（例如过滤filter、映射mapping、更新状态updating state、join、分组grouping、定义窗口defining windows、聚合aggregating）的规范化程序。集合初始创建自 sources（例如读取文件reading from files、kafka 主题kafka topics，或本地local或内存memory中的集合）。结果通过 sink 返回，例如，它可以将数据
2020-08-25 20:24:09
470
原创 快速上手开发第一个Flink应用程序
快速上手开发第一个Flink应用程序开发环境准备λ echo %JAVA_HOME% D:\Program Files\Java\jdk1.8.0_251λ echo %MAVEN_HOME%D:\Applications\apache-maven-3.6.3使用Flink开发一个批处理应用程序（Java/Scala）需求：词频统计（Word count）一个文件，统计文件中每个单词出现的次数分隔符是 \t统计结果直接打印到控制台（生产上市Sink到目的地）实现：Flink + J
2020-08-25 20:21:48
362
原创 初始Flink
Flink概述Apache Flink® — Stateful Computations over Data Streams基于数据流的有状态的计算。Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。处理无界和有界数据任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。数据可以被作为 无界
2020-08-25 20:16:35
125
原创 并发的可达性分析
并发的可达性分析当前主流编程语言的垃圾收集器基本上都是依靠可达性分析算法来判定对象 是否存活的，可达性分析算法理论上要求全过程都基于一个能保障一致性的快照中才能够进行分析， 这意味着必须全程冻结用户线程的运行。在根节点枚举这个步骤中，由于GC Roots相比起整个Java堆中全部的对象毕竟还算是极少数，且在各种优化技巧（如OopMap）的加持下，它带来的停顿已经是非常短暂且相对固定（不随堆容量而增长）的了。但是从GC Roots再继续往下遍历对象图，这一步骤的停顿时间就必定会与Java堆容量直接成正比
2020-06-04 17:11:24
572
1
原创 记忆集、卡表与写屏障
提出问题分代收集理论的时候，会存在为了解决对象跨代引用所带来的的问题。垃圾收集器在新生代中建立啦名字为挤一挤的数据结构，用来避免把整个老年代加进GC roots扫描范围。事 实上并不只是新生代、老年代之间才有跨代引用的问题，所有涉及部分区域收集（Partial GC）行为的 垃圾收集器，典型的如G1、ZGC和Shenandoah收集器，都会面临相同的问题，因此我们有必要进一步理清记忆集的原理和实现方式，以便学习几款最新的收集器相关知识时能更好地理解。记忆集记忆集是一种用于记录从非收集区域指向收集区域的
2020-06-03 16:04:30
2319
10
原创 ZGC收集器原理(深入理解Java虚拟机学习笔记)
ZGC收集器一款在 JDK 11中新加入的具有实验性质的低延迟垃圾收集器ZGC的目标是希望在尽可能对吞吐量影响不太大的前提下，实现在任意堆内存大小下都可以把垃圾收集的停顿时间限制在十毫秒以内的低延迟。ZGC主要特征ZGC收集器是一款基于Region内存布局的，（暂时） 不设分代的，使用了读屏障、染色指针和内存多重映射等技术来实现可并发的标记-整理算法的，以低延迟为首要目标的一款垃圾收集器。ZGC内存布局ZGC采用基于Region的堆内存布局，但与它们不同的是，ZGC的Region（在一些官方资
2020-05-28 14:22:19
1911
原创 Chrome 地址栏隐藏了“www”和“https://”解决办法
最近， Google Chrome 76 稳定版已经发布，如果已经安装，不难发现在地址栏中少了一些内容，“www”子域和“https://”被隐藏起来了。根据谷歌官方报道，早在 2018 年 9 月发布 Chrome 69 时，谷歌就从地址栏中的 URL 中隐藏“www”和“https://”,并且认为这两者是无关紧要的子域。例如，当用户访问www.google.com时，www 将被隐藏并显...
2019-08-29 17:31:42
4663
原创 关于Servlet3.0 注解无效的几种情况
解释： Servlet3.0提供了注解(annotation)，使得不再需要在web.xml文件中进行Servlet的部署描述，简化开发流程。 Servlet3.0的部署描述文件web.xml的顶层标签<web-app>有一个metadata-complete属性，该属性为true，则容器在部署时只依赖部署描述文件，忽略所有标注，如果不配置该属性，或者...
2019-08-02 18:10:18
701
原创 Windows下 配置Tomcat、Eclipse安装Tomcat插件方法、启动Tomcat服务器
下载Tomcat根据官网提供的对应版本下载查看以下jdk与tomcat版本的对应关系，根据所下载的jdk选择相应tomcat版本，否则tomcat将无法运行然后选择相应版本下载Tomcat下载后安装，选择安装路径，将其bin文件夹的文件路径复制下来bin文件中有statup.bat是Tomcat的启动程序，所以要将…\bin的路径加入环境变量中选择高级属性进入环境变量界面将\...
2019-06-07 14:16:46
599
原创 解决value="${username}"获取的是windows用户名
Spring Boot中配置dataSource时value="${username}"获取的是windows用户名配置Spring框架的时候出现六月 05, 2019 9:43:05 下午 com.alibaba.druid.support.logging.JakartaCommonsLoggingImpl error严重: {dataSource-1} init errorjava.s...
2019-06-05 21:52:51
5211
1
原创 Java 中插入MySQL中文字段出现乱码
编码方式不一致，导致乱码如图所示，所以需要将Java中的编码形式和MySql中的编码形式都设置为UTF-8。所以在数据库的配置文件中，把url改成url=jdbc:mysql://localhost:3306/springdemo?characterEncoding=utf8对于mysql，可以使用set names utf8,set names gbk设置默认的编码格式上述代码...
2019-05-30 14:42:56
1707
1
原创 Java基础学习笔记
Java方法 定义：完成特定功能的代码块 格式 修饰符 返回值类型：结果的数据类型 方法名 参数 实际参数 形式参数 方法体语句 返回值 调用 有明确返回值的调用 单独调用（无意义，不推荐） 输出调用（有意义，但不够好） 赋值调用（建议使用） 注意事项 不调用不执行 方...
2019-05-10 16:24:07
394
转载 win10无法新建文件夹解决办法
win10无法新建文件夹解决办法复制以下代码到记事本里，保存为 1.reg（后缀为.reg,前面名字不重要），双击运行即可。Windows Registry Editor Version 5.00[-HKEY_CLASSES_ROOT\Directory\Background\shellex\ContextMenuHandlers][HKEY_CLASSES_ROOT\Directory\...
2019-03-25 12:59:57
1907
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人