- 博客(26)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 沈从文先生在西南联大(作者汪曾祺)
1939年，汪曾祺考入西南联合大学中文系，从杨振声、闻一多、朱自清诸先生学习，是沈从文先生的入室弟子，沈先生对文学创作有一套自己的看法，并且对汪曾祺日后的创作产生了巨大的影响。《我的老师沈从文》中，汪先生将自己对沈先生的怀念从从容容地挥洒于笔尖，文字很朴素，但是字里行间流淌的都是真情。此文致敬所有在三尺讲台耕耘的“先生”们。 &n...
2019-09-30 23:52:21
2140
原创 钱穆的中学读书事(作者王国华)
重读国学大师钱穆先生的著作《师友杂忆》，记其中学读书事，越读越感慨。20世纪初，钱穆就读于常州府中学堂。其同学中有一人就是后来的刘半农;有个小他两级的师弟,就是后来的瞿秋白;有个老师,竟是文史大家吕思勉。一个不起眼的学校,走出这么多耀眼的 人,一定有其独到之处。而钱穆记录的几则师生轶事,恰可体现彼时的学风，即：讲规则，有错必...
2019-09-30 23:41:55
223
原创 Flink三种运行模式安装部署
环境Flink 1.8.2jdk 1.8hadoop 2.8.5Local模式在Local模式下仅模拟cluster集群，仅启动JobManager完成应用的运行。JobManager进程信息如下:启动：./bin/start-cluster.sh停止：./bin/stop-cluster.sh提交作业方式./flink run -p 1 ../examples/batch/...
2019-09-30 14:46:08
1908
原创 Apache Flink 读取本地文件，处理数据，导入ES
需求本地有一份文件使用Flink读取本地数据源处理数据，导入ES中提交Flink作业环境Flink ：1.8.2Elasticsearch：6.2.3JDK：1.8pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0...
2019-09-29 15:56:43
7254
转载 HDFS常用命令
简洁NameNode负责响应客户端请求。负责管理元数据(文件名、副本数、Block存放的DN)。DataNode存储数据。向NameNode发送心跳，汇报本身及Block信息。默认block为128mb。Secondary NameNode监控HDFS状态的辅助后台程序，合并fsimage与edits。fsimage：元数据镜像文件，存储NameNode元数据信息(Second...
2019-09-26 15:49:43
183
原创 Apache Flink 零基础入门（二十一）Flink HistoryServer概述与配置
之前我们做了Flink的开发，开发完成之后就需要进行监控。Flink 有一个History Server可以在相关Flink 集群关闭之后，还可以查看一些信息。也就是一些作业运行完成之后，可以用History Server查看运行的统计信息。同时，还暴露了一些RestAPI，允许http进行请求。修改配置文件conf/flink-conf.yaml：jobmanager.archive....
2019-09-23 16:12:21
1599
原创 Flink分布式standalone部署方式(第二种方式)
接着上面一节中介绍的，浏览器中输入地址http://swarm-manager:8088/cluster,输出如下：拿到application_1569070146084_0001，然后在控制台先kill掉：./yarn application -kill application_1569070146084_0001Run a single Flink job on YARN之前介绍了...
2019-09-23 10:23:25
1082
原创 Flink分布式standalone部署方式(第一种方式)
提前准备java 版本 1.8.0_101flink 版本 flink-1.8.2-bin-scala_2.11.tgzhadoop 版本 hadoop-2.8.5.tar.gzflink-hadoop lib 版本 flink-shaded-hadoop-2-uber-2.6.5-7.0.jar配置环境变量JAVA_HOME=/usr/jdk1.8.0_101FLINK_HOM...
2019-09-21 21:37:09
666
原创 Apache Flink 零基础入门（二十）Flink部署与作业的提交
之前我们都是基于Idea在本地进行开发，这种方式很适合开发以及测试，但是开发完之后，如何提交到服务器中运行?Flink单机部署方式本地开发和测试过程中非常有用，只要把代码放到服务器直接运行。前置条件jdk8maven3下载解压Flink，这里直接下载源码编译，直接从github上下载源码https://github.com/apache/flink/releases 选择1.8.1然...
2019-09-18 18:43:11
512
原创 KMP算法
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-09-18 01:02:47
184
原创 Apache Flink 零基础入门（二十）Flink kafka connector
内置source和sink内置source包括从文件读取，从文件夹读取，从socket中读取、从集合或者迭代器中读取。内置的sink包括写文件、控制台输出、socket内置connectorsApache Kafka(source/sink) Apache Cassandra(sink) Amazon Kinesis Streams(source/sink) Elastic...
2019-09-16 17:18:00
345
原创 Apache Flink 零基础入门（十九）Flink windows和Time操作
Time类型在Flink中常用的Time类型：处理时间 摄取时间 事件时间处理时间是上图中，最后一步的处理时间，表示服务器中执行相关操作的处理时间。例如一些算子操作时间，在服务器上面的时间。如果你以处理时间作为流处理的时间处理方式，那么所有的基于时间的操作都会使用服务器的时间，来运行相关的操作。例如：一个小时的处理时间窗口，将会包含一个小时内的到达服务器内的所有数据。例如...
2019-09-12 16:45:00
247
原创 Apache Flink 零基础入门（十八）Flink Table API&SQL
什么是Flink关系型API？虽然Flink已经支持了DataSet和DataStream API，但是有没有一种更好的方式去编程，而不用关心具体的API实现？不需要去了解Java和Scala的具体实现。Flink provides three layered APIs. Each API offers a different trade-off between conciseness ...
2019-09-11 17:03:00
396
原创 Apache Flink 零基础入门（十七）Flink 自定义Sink
需求：socket发送过来的数据，把String类型转成对象，然后把Java对象保存到Mysql数据库中。创建数据库和表create database imooc_flink;create table student(id int(11) NOT NULL AUTO_INCREMENT,name varchar(25),age int(10),primary key(id))...
2019-09-11 15:14:00
412
原创 Apache Flink 零基础入门（十六）Flink DataStream transformation
Operators transform one or more DataStreams into a new DataStream.Operators操作转换一个或多个DataStream到一个新的DataStream 。filter functionScalaobject DataStreamTransformationApp { def main(args: Arr...
2019-09-10 19:06:00
171
1
原创 Apache Flink 零基础入门（十五）Flink DataStream编程（如何自定义DataSource）
数据源可以通过StreamExecutionEnvironment.addSource(sourceFunction)方式来创建，Flink也提供了一些内置的数据源方便使用，例如readTextFile(path) readFile()，当然，也可以写一个自定义的数据源（可以通过实现SourceFunction方法，但是无法并行执行。或者实现可以并行实现的接口ParallelSourceFunct...
2019-09-10 17:32:00
657
原创 业界流处理框架对比
SparkSpark对于流处理有两大框架：分别是Spark Streaming和结构化流。以离线批处理为主，流式处理是批处理的一个特例，相当于把批处理拆成小的批次(mini batch) ，例如每隔10秒处理一次流式数据。Flink与spark刚好相反，Flink是以处理流数据为主，批处理是流式处理的一个特例。Storm只支持流处理...
2019-09-10 14:51:00
145
原创 Apache Flink 零基础入门（十四）Flink 分布式缓存
Apache Flink 提供了一个分布式缓存，类似于Hadoop，用户可以并行获取数据。通过注册一个文件或者文件夹到本地或者远程HDFS等，在getExecutionEnvironment中指定一个名字就可以。当应用程序执行时，Flink会自动拷贝这个文件或者文件夹到所有worker进程中。用户的Function通过指定的名字可以查找这个文件或者文件夹中的内容。Scaladef m...
2019-09-10 14:43:00
287
原创 Apache Flink 零基础入门（十三）Flink 计数器
需求：当一个文本文件进入时，有可能会有一些格式乱码的错误行，如何统计哪些错误行？如何提取错误行 def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val data = env.fromElements("hadoop","spark"...
2019-09-10 11:18:00
1246
5
原创 Apache Flink 零基础入门（十二）Flink sink
将DataSet中的数据Sink到哪里去。使用的是对应的OutPutFormat，也可以使用自定义的sink，有可能写到hbase中，hdfs中。writeAsText() / TextOutputFormat ，以String的形式写入 writeAsCsv(...) / CsvOutputFormat，以CSV的方式写进去 print() / printToErr() / ...
2019-09-10 09:55:00
263
原创 Apache Flink 零基础入门（十一）Flink transformation
前面讲了常用的DataSource的用法，DataSource其实是把数据加载进来，加载进来之后就需要做Transformation操作了。Data transformations transform one or more DataSets into a new DataSet. Programs can combine multiple transformations into soph...
2019-09-05 17:31:00
187
原创 Docker 解决容器时间与主机时间不一致的问题三种解决方案
Docker容器时间与主机时间不一致通过date命令查看时间查看主机时间[root@localhost ~]# date2016年 07月 27日 星期三 22:42:44 CST查看容器时间root@b43340ecf5ef:/#date ...
2019-09-05 15:12:00
1120
原创 SpringBoot指定服务项目名
使用不同SpringBoot版本，指定访问项目路径的项目名，使用的配置也不一样SpringBoot版本 配置 1.x server.context-path=/demo 2.x server.servlet.context-path=/demo 以下为本地测试可行代码pom.xml中使用SpringBoot版本<version>1.5.9.RE...
2019-09-05 15:01:00
3263
原创 docker logs 日志原理
参数说明$ docker logs [OPTIONS] CONTAINEROptions: --details 显示更多的信息 -f, --follow 跟踪日志输出，最后一行为当前时间戳的日志 --since string 显示自具体某个时间或时间段的日志 --tail string 从...
2019-09-05 14:55:00
1431
原创 Apache Flink 零基础入门（十）Flink DataSet编程
DataSet programs in Flink are regular programs that implement transformations on data sets (e.g., filtering, mapping, joining, grouping). The data sets are initially created from certain sources (e.g...
2019-09-04 10:12:00
154
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人