- 博客(24)
- 收藏
- 关注
RSS订阅原创 Flink__Flink1.10.0Concepts__Dataflow Programming Model
Flink__Flink1.10.0Concepts__Dataflow Programming ModelLevels of AbstractionPrograms and Dataflows (程序和数据流)Parallel DataflowsWindowsTime(时间)Stateful Operations(有状态操作)Checkpoints for Fault Tolerance(检查点和容错)Levels of AbstractionFlink提供了不同抽象的级别API 用来开发 批处理/
2020-11-08 17:58:38
304
1
原创 Flink__Flink1.10.0Concepts__Distributed Runtime Environment
Flink__Flink1.10.0Concepts__Distributed RuntimeTasks and Operator ChainsJob Managers, Task Managers, ClientsTask Slots and ResourcesState BackendsSavepointsTasks and Operator Chains对于分布式计算，Flink 把operator subtasks 运行子任务串连在一起，组合成Tasks。每个线程执行一个Task。 把算子任务串
2020-11-08 15:25:14
293
原创 Flink__Flink1.10.0Basic API Concepts__Overview
Flink__Flink1.10.0__Basic API ConceptsDataSet and DataStreamAnatomy of a Flink ProgramLazy EvaluationSpecifying KeysDefine keys for TuplesDefine keys using Field ExpressionsField Expression Syntax:Define keys using Key Selector FunctionsSpecifying Transfor
2020-11-05 20:16:51
607
原创 Flink__Flink1.10.0 What is Apache Flink?__Applications
Apache Flink是一个可以在有限流数据流和无限流基础上进行有状态计算的大数据处理框架。Flink从下到上提供了不同层级的API抽象，并为常见的用例提供了专用的开发库。构建流处理应用程序 (Building Blocks for Streaming Applications)流处理框架如何控制 Stream, State,Time等因素，决定了框架能构建和执行什么类型的应用(The types of applications that can be built with and executed
2020-10-31 17:28:44
349
原创 Flink__Flink1.10.0源码编译
从源码编译Flink需要在本地安装以下基础组件.系统环境: MacOS - Darwin localhost 19.5.0 Darwin Kernel Version 19.5.0: Tue May 26 20:41:44 PDT 2020; root:xnu-6153.121.2~2/RELEASE_X86_64 x86_64JDK，编译flink1.10.0 需要JDK8 及以上版本。Maven，Maven3.3.x可以构建Flink，但不能涵盖某些Jar依赖，编译打包可能会有问题。Flin.
2020-10-29 20:08:55
743
原创 Git__Tag操作
Git Tag 操作查看Tag// 查看tagguyue@GuYue-MacBook-Pro13:~/kafka-test (master*=) % git tagprod-tag-kafka-test-20191016112240-guyueprod-tag-kafka-test-20191016112826-guyueprod-tag-kafka-test-201911121450...
2020-01-08 11:15:03
477
原创 GIT__ERROR__The requested URL returned error: 401 Unauthorized
在服务器上拉取gitlab中的工程，结果报以一错误:error: The requested URL returned error: 401 Unauthorized while accessing http://x.git/info/refsfatal: HTTP request failed原因是pull工程时认证失败。解决:使用: git clone https://userna...
2020-01-07 12:47:26
516
原创 Git__内容编辑
Git 内容编辑放弃已经修改的文件，且还没有添加到本地缓存的文件// 还原单个文件git checkout -- 文件绝对路径// 还原本次修改的所有文件, 不包含新增文件git checkout .// 将本地所有更改都缓存到stash 里git stashGit Stash 操作// 查看stash文件列表git stash list// 将 git 压进 stas...
2020-01-07 12:02:49
66
原创 Git__ERROR__src refspec master does not match any. 错误处理办法
要学习一个Spark源码，想在学习过程中加一些注释，便于日后自己回忆、与同事分享。所以下载了Spark源码，并上传到自己github。在向远程push代码的时候，报上面错误。原因:本地仓库为空。即 git提交缓存中没有任何内容，也就是说，提交缓存是空的，没有标明需要提交哪些文件。解决:rm -rf .git ## 先把 spark 自带的 .git 目录删除 git...
2020-01-07 11:16:47
131
原创 Spark__Log4j2日志配置
开发 Spark 程序，需要格式化日志输出， 由于log4j2的性能比 log4j1.x，及 logback 好，因此配置了log4j2.xml 日志输出配置文件。写程序程序测试，并未正确输出日志，报 Jar 包不正确。查询得知是 log4j 的一些 Jar 包冲突，使用mvn dependency:tree 命令，查看项目依赖，把log4j 相关的所有Jar 包排除掉后，日志输出正常。ob...
2019-12-05 13:08:54
1347
原创 Shell__管道符读取文件及小问题
业务需要，开发一个自动添加 监控 flume 进程的 crontab 任务。大概思路是 如果用户配置了 crontab 那么把所有 crontab 内容先输出到一个文件中，之后逐行读取文件中的内容，把内容重新定位到新的文件中。循环读取过程中 判断当前行是否是 flume 监控，如果是 并且 监控被注释了，就解注，并对 操作次数变量flume_action_nums加1，最后根据 操作变量的值， ...
2019-12-05 11:47:08
384
原创 MySql__一列中包含多个值 (一列值转多行值)
业务开发中由于数据库设计有缺陷, 导致一个列中存储了多个值。这种情况下，在业务开发过程中， 需要将列转换为行。进行操作。如:image.pngGoole 得:select a.ID,substring_index(substring_index(a.app_id,',',b.help_topic_id+1),',',-1) as NAM`Efrom test_cha...
2019-12-05 10:51:09
986
原创 MySql__为用户赋于主从同步的权限
MySql__为用户赋于主从同步的权限在配置Otter的时候报错:CanalParseException: command : 'show master status' has an error!经查询是同步账户没有权限。使用同步账户在MySql中执行 'show master status'，出现以下错误。MySql中修改 同步账号的 权限，问题解决。ERROR 1227 (42000)...
2019-12-05 10:37:32
1010
原创 MySql__创建表日期默认值出错
本机MySql创建Otter配置表出错:ERROR 1067 (42000): Invalid default value for 'GMT_CREATE' ERROR 1067 (42000): Invalid default value for 'GMT_CREATE' ERROR 1067 (42000): Invalid default value for 'GMT_CREA...
2019-12-05 10:36:52
284
原创 MySql__Mac下打开BinLog.
MySql__Mac下打开BinLog.查看是否开启 log_bin.show variables like 'log_bin';在my.cnf配置文件中打开 bin_log 选项 【我在本机配置了双实例，所以log-bin-index配置了端口号】:[mysqld] server-id=1 log-bin=/usr/local/mysql_data/data3306/my...
2019-12-05 10:36:11
288
原创 MySql__Mac下Kill Mysql进程仍然不断重启的原因
MySql__Mac下Kill Mysql进程仍然不断重启的原因在自己的Mac电脑上安装MySql，在系统设置 "服务" 中 MySql 勾选了自动重启，但是 想去掉自动重启，系统报错。没办法把Mysql的插件删除了，目录在：目录: /Library/PreferencePanes/MySQL.prefPane重置: sudo mv MySQL.prefPane aaa.MySQL.pr...
2019-12-05 10:35:27
575
原创 MySql__Mac下删除MySql
MySql__Mac下删除MySqlOpen the TerminalUse mysqldump to backup your databasesCheck for MySQL processes with: ps -ax | grep mysqlStop and kill any MySQL processesAnalyze MySQL on HomeBrew:brew remo...
2019-12-05 10:34:38
162
原创 Mysql__Install__安装Mysql客户端
开发过程中发现客户机服务器中没有Mysql客户端，又不想安装完整的MySQL服务器，更不想再用源码安装客户端，Google得：# CentOS 安装Mysql客户端yum install mysql# CentOS 安装完整版MySqlyum install mysql-server# Ubantu 安装Mysql客户端apt-get install mysql# Uban...
2019-12-05 10:33:28
62
原创 Vim__中的常用命令
人上了年纪身体越来越差，脑子反映越来越慢。为了日后开发方便，好记性不如赖笔头，记录一下 Vim常用命令 以便日后查询。Vi常用的2种模式：输入模式，命令模式。常用的vi命令一般都在命令模式下。光标移动命令说明esc退出输入模式h, j, k, l左，下，上，右 移动光标w向右移动一个word [word最后一个字母之后]e向右移动一个word [w...
2019-12-03 20:52:11
113
原创 Shell__中括号
[ ] 单双括号基本要素[ ] 两个符号左右都要有空格分隔[ ] 内部操作符与操作变量之间要有空格：如 [ “a” = “b” ][ ] 字符串比较中，> < 需要写成\> \< 进行转义[ ] 中字符串或者${}变量尽量使用"" 双引号扩住，避免值未定义引用而出错的好办法[ ] 中可以使用 –a –o 进行逻辑运算[ ] 是bash 内置...
2019-12-03 20:47:46
68
原创 Linux__环境下删除乱码文件
程序开发过程中经常会遇到乱码文件，最常引起乱码的情况是上传了文件名中 包含中文的文件，通过正常命令是不能直接操作该文件的，所以只能删除，因为文件是乱码，所以不能直接用文件名，好在强大的Linux对每个文件，文件夹都分配了一个唯一的inode，通过inode我们就可以删除乱码文件。查看 文件inode[test@2288 test-etl]$ ll -i4461854 drwxrwxr-x...
2019-12-03 16:52:09
63
原创 2019-08-12 Maven__ERROR__target/surefire-reports for the individual test results.
编译开源工程时，报以下错误，google得知是因为编译测试代码出错，导致整个工程编译停止。[ERROR] Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4:test (default-test) on project flink-sql-core: There are test failu...
2019-08-12 15:31:56
218
原创 2019-07-25 Tools__Configuration__Intellij用户配置在Mac里存放目录
工作中有时需要删除用户本地Intellij配置, 让Intellij重新生成，所以需要知道Intellij将配置信息放在哪些目录下了。Configuration (idea.config.path):~/Library/Preferences/<PRODUCT><VERSION>Caches (idea.system.path):~/Library/Ca...
2019-07-25 15:51:28
339
原创 Git__分支操作
GIT 分支操作查看分支// 查看本地分支git branch -a// 查看远程分支git branch -r// 查看所有分支git branch -a推送分支到远程git push origin guyue[本地分支名]:guyue[远程分支名]i. 前面有(*)号表示当前分支ii. 前面有(remote)表示远程分支image.png删除分支...
2019-07-25 13:52:58
49
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人