- 博客(39)
- 收藏
- 关注
RSS订阅原创 Flink1.12.2+Hudi0.9编译
安装thriftwget https://mirrors.cnnic.cn/apache/thrift/0.19.0/thrift-0.12.0.tar.gztar -zxvf thrift-0.12.0.tar.gzcd thrift-0.12.0yum install libtool flex bison pkgconfig boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel ant.
2021-11-30 18:30:54
1295
原创 flink写文件报错（lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeInformation）
1. 使用Flink存储parquet文件报错21/07/15 14:24:47 INFO checkpoint.CheckpointCoordinator: Triggering checkpoint 2 (type=CHECKPOINT) @ 1626330287296 for job 06a80360b770722f8dd3e41252a5a8d7.21/07/15 14:24:47 INFO filesystem.Buckets: Subtask 2 checkpointing for chec
2021-11-30 18:06:24
1842
原创 CDH6.3.2集成Flink1.12.2
编译flink-shadedflink-shaded(用10.0版本，1.12对应的flink-shaded1.12版本没有flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0这个jar包)git clone https://github.com/apache/flink-shaded.gitgit checkout -b flinkshaded9 release-9.0vim pom.xml .
2021-11-30 18:04:30
1911
原创 mysql设置密码强度
查询数据库下的表名：select table_name from information_schema.tables where table_schema=‘当前数据库’GRANT ALL PRIVILEGES ON aike.* TO ‘root’@‘172.16.124.246’ IDENTIFIED BY ‘newland@123’ WITH GRANT OPTION;flush privileges;1、查看 mysql 初始的密码策略，输入语句 “ SHOW VARIABLES LIKE
2020-08-25 16:58:19
1675
原创 fastjson 解析复杂类型
fastjson 解析各种json 情况StockInfoZwsVO<ProductInventoryZwsVO> stockInfoZwsVO = JSON.parseObject(textMessage.getText(),new TypeReference<StockInfoZwsVO<ProductInventoryZwsVO>>() {});
2020-08-25 16:56:46
361
原创 jenkins gitlab
Jenkins集成Gitlab与企业微信机器人启动Dockerdocker run -u root –rm -d –name jenkins-p 8080:8080 -p 50000:50000 -v /root/wwl/jenkins/jenkins-data:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock jenkinsci/blueoceanJenkins生成账号密码地址输入：http://
2020-08-25 16:49:20
211
原创 Nginx+keepalived+lvs 高可用部署方案
1. 部署环境ip软件192.168.136.27Keepalived+lvs192.168.136.28Keepalived+lvs192.168.136.26nginx192.168.136.39nginx192.168.2.200虚拟IP2. 安装过程2.1 Keepalived+lvs安装（27,28）yum -y ins...
2020-04-10 15:26:26
229
原创 Spark Streaming官方文档翻译Spark Streaming自定义接收器
Spark Streaming自定义接收器(Spark Streaming Custom Receivers)Spark Streaming除了它内置支持的数据源之外(也就是说，除了Flume、Kafka、Kinesis、文件、socket等)，也可以从其他任何数据源接收流数据。 这要求开发人员实现一个为接收来自相关数据源的数据而定制的接收器。本指南介绍了实现自定义接收器并在Spark流应用程序...
2020-01-02 20:17:35
183
原创 Spark Streaming官方文档翻译Spark Streaming +Kafka 集成指南
Spark Streaming +Kafka 集成指南Apache Kafka 是作为发布-订阅消息传递的重新思考，它是分布式、分区、复制提交日志服务的。在使用Spark开始集成之前，请仔细阅读Kafka文档。Kafka项目在0.8和0.10版本之间引入了一个新的消费者API，因此有两个单独的相应的Spark流= Streaming 应用包。请为您的代理(中间件)和所需功能选择正确的软件包；请...
2020-01-02 20:16:04
364
原创 Spark Streaming官方文档翻译Spark Streaming容错
容错语义(Fault-tolerance Semantics)在本节中，我们将讨论Spark Streaming应用程序在发生故障时的行为。背景(Background)为了理解Spark Streaming提供的语义，让我们记住Spark RDDs的基本容错语义。RDD是一个不可变的、可确定地重新计算,分布式的数据集。每个RDD都会以容错的方式记住输入数据集上创建的确定性操作的血缘关系。...
2020-01-02 20:12:57
210
原创 Spark Streaming官方文档翻译Spark Streaming性能调优
性能调优(Performance Tuning)要在集群上的Spark Streaming应用程序中获得最佳性能，需要进行一些调整。这些已在调优指南中详细讨论。本节重点介绍一些最重要的内容。数据接收的并行度(Level of Parallelism in Data Receiving)通过网络接收数据(如Kafka、Flume、socket等)需要将数据反序列化并存储在Spark中。如果数据...
2020-01-02 20:11:07
315
原创 Spark Streaming官方文档翻译Spark Streaming应用之部署，升级，监控
部署应用(Deploying Applications)本节讨论部署Spark流应用程序的步骤。要求具有集群管理器的集群——这是任何Spark应用程序的一般需求，并在部署指南中详细讨论。应用打成jar包——须将流应用程序编译到JAR包中。如果使用Spark -submit启动应用程序，则不需要在JAR中提供Spark和Spark流所对应的jar包。但是，如果您的应用程序使用高级的数...
2020-01-02 20:08:04
192
原创 Spark Streaming官方文档翻译基本概念之累加器、广播变量和检查点
基本概念累加器、广播变量和检查点(Accumulators, Broadcast Variables, and Checkpoints)无法从Spark Streaming中的检查点恢复累加器和广播变量。如果启用了检查点并同时使用累加器或广播变量，则必须为累加器和广播变量创建延迟实例化的单例实例，以便在驱动程序失败重新启动后重新实例化它们。如下面的例子所示。object WordBlackl...
2020-01-02 20:05:33
368
原创 Spark Streaming官方文档翻译基本概念之缓存与检查点
缓存/持久性(Caching / Persistence)与RDDs类似，DStreams还允许开发人员将流的数据持久化到内存中。也就是说，在DStream上使用persist()方法将自动在内存中持久化该DStream的每个RDD。如果DStream中的数据将被多次计算(例如，对同一数据的多次操作)，那么这是非常有用的。对于基于窗口的操作，如reduceByWindow和reduceByKey...
2020-01-02 19:56:16
592
原创 Spark Streaming官方文档翻译基本概念之sql与Mllib
#基本概念DataFrame和SQL操作(DataFrame and SQL Operations)您可以轻松地在流数据上使用DataFrames和SQL操作。 您必须使用StreamingContext正在使用的SparkContext创建SparkSession。此外，这样做可以在驱动程序失败时重新启动。这是通过创建一个延迟实例化的SparkSession单例来实现的。如下面的例子所示。它...
2020-01-02 19:54:07
194
原创 Spark Streaming官方文档翻译基本概念之输出操作
DStreams上的输出操作(Output Operations on DStreams)输出操作允许将DStream的数据推送到外部系统，如数据库或文件系统。由于输出操作实际上允许外部系统使用转换后的数据，因此它们会触发所有DStream转换的实际执行(类似于RDDs的actions)。目前定义了以下输出操作:输出操作意义print()在运行流应用程序的驱动节点上打印D...
2020-01-02 19:52:32
172
原创 Spark Streaming官方文档翻译基本概念之转换操作
基本概念转换DStreams(Transformations on DStreams)与RDDs类似，转换允许修改输入DStream中的数据。DStreams支持许多在普通Spark RDD上可用的转换。一些常见的操作如下。转换意义map(func)通过函数func转换源DStream的每个元素来返回一个新的DStream。flatMap(func)与map类似...
2020-01-02 19:49:12
249
原创 Spark Streaming官方文档翻译基本概念之输入数据流和接收器
输入数据流和接收器(Input DStreams and Receivers)输入数据流是表示从数据源接收的输入数据流。在quick示例中，lines 是一个输入DStream，它表示从netcat服务器接收到的数据流。每个输入DStream(本节后面讨论的文件流除外)都与接收方(Scala doc、Java doc)对象相关联，接收方接收来自源的数据并将其存储在Spark内存中进行处理。Sp...
2020-01-02 19:44:16
243
原创 Spark Streaming官方文档翻译基本概念之初始化与Dstream
基本概念接下来，我们将脱离简单的示例，并详细介绍Spark Streaming的基础知识。链接（Linking)与Spark相似，可以通过Maven Central使用Spark Streaming。要编写自己的Spark Streaming程序，您必须将以下依赖项添加到SBT或Maven项目中。<dependency> <groupId>org.apach...
2020-01-02 19:39:12
270
原创 Spark Streaming官方文档翻译Spark Streaming总览
总览Spark Streaming 是Spark core API的扩展，支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从许多来源获取，如Kafka、Flume、Kinesis或TCP sockets，可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和window。最后，处理后的数据可以推送到文件系统、数据库和活动仪表板。实际上，您可以将Spark的机器...
2020-01-02 19:31:37
346
原创 sql left join之后 类似like操作的效果
sql left join之后 类似like操作的效果问题背景表1 优惠券表 ticketidproduct_id11表2 商品信息表 productidproduct_idproduct_detail12019-1123422018-11234优惠券表里面有商品ID字段，需要去商品信息表里面通过product...
2019-12-06 17:40:55
4101
原创 sql left join之后相同记录只保留一条(group by 去重)
sql left join之后相同记录只保留一条(group by 去重)问题背景表1 优惠券表 ticketidproduct_id11表2 商品信息表 productidproduct_idproduct_nameproduct_detail11一123421壹1234优惠券表里面有商品ID字段，需要...
2019-12-06 17:39:50
4155
翻译 Prophet文档中文翻译--diagnostics
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdfrom matplotlib import pyplot as pltimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)import warningswarnings...
2018-12-29 17:32:15
1634
翻译 Prophet文档中文翻译--non-daily_data_chinese
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)import warningswarnings.filterwarnings("ignore")日以下数据（以小时、...
2018-12-29 16:00:27
657
翻译 Prophet文档中文翻译--outliers
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)import warningswarnings.filterwarnings("ignore")异常值有两种主要方式...
2018-12-29 14:56:30
625
翻译 Prophet文档中文翻译--uncertainty_intervals
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdfrom matplotlib import pyplot as pltimport numpy as npimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)impor...
2018-12-29 14:18:18
571
1
翻译 Prophet文档中文翻译--multiplicative_seasonality
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdimport numpy as npfrom matplotlib import pyplot as pltimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)impor...
2018-12-29 13:37:08
1344
2
翻译 Prophet文档中文翻译--Seasonality,Holiday effects,and Regressors
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdfrom matplotlib import pyplot as pltimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)import warningswarnings...
2018-12-29 11:33:09
3166
翻译 Prophet文档中文翻译--trend_changepoints
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdfrom matplotlib import pyplot as pltimport numpy as npimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)impor...
2018-12-28 21:30:46
1098
翻译 Prophet文档中文翻译--saturating_forecast
%matplotlib inlinefrom fbprophet import Prophetimport pandas as pdimport logginglogging.getLogger('fbprophet').setLevel(logging.ERROR)import warningswarnings.filterwarnings("ignore")预测增长默认情况下...
2018-12-28 21:27:36
302
翻译 Prophet文档中文翻译--quick_start
最近在学习Prophet模型，看着Prophet的Jupyter Notebook上面的几个例子，试着运行了一遍，然后顺便尝试了把文档翻译成中文，方便以后查阅。由于水平有限，可能会有一些翻译不准确的地方，后期有新的理解再继续修改吧。%matplotlib inlineimport logginglogging.getLogger('fbprophet').setLevel(logging.E...
2018-12-28 21:18:57
420
原创 facebook prophet安装问题
从facebook prophet-0.3版本升级到prophet-0.4版本，导入Prophet对象发出警告：WARNING:pystan:No module named 'stanfit4anon_model_861b75c6337e237650a61ae58c4385ef_2841341000846931969' WARNING:pystan:Something went wrong w...
2018-12-28 16:24:21
1390
原创 Spark程序调用json4s报错[java.lang.NoSuchMethodError: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/Js]
Error: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/JsonInput;Z)Lorg/json4s/JsonAST$JValue; at org.apache.spark.sql.types.DataType$.fromJson(DataType.scala:113) at org.apache.spark.sql.ex...
2018-11-05 10:15:32
6990
原创 oracle数据库，根据rownum查询第m行到第n行数据
SELECT tableTwo.* FROM (SELECT ROWNUM as id,tableOne.* FROM 表名字 tableOne WHERE ROWNUM <n) tableTwo WHERE id >m
2018-09-07 16:27:51
3165
原创 Spark2.3.1写parquet文件报错
scala> val peopleDF = spark.read.json("file:///usr/local/spark/examples/src/main/resources/people.json")peopleDF: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> ...
2018-07-31 10:14:24
5884
原创 cx_Oracle库连接oracle服务器报错：cx_Oracle.DatabaseError: ORA-12505:
cx_Oracle库连接oracle服务器报错：cx_Oracle.DatabaseError: ORA-12505:TNS:listener does not currently know of SID given in connect descriptor>>> dsn = Oracle.makedsn("127.0.0.1", 1521, "xxx") /...
2018-07-31 09:40:44
4451
转载 Vscode运行chrome插件调试HTML代码插件配置
{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", "configurations": [ { "name": "使用本机 C...
2018-04-23 16:13:49
3843
原创 Unity使用协程方法记录
使用协程的注意事项：yield会让程序挂起，执行完协程里面的函数之后再执行协程后面的代码。StartCoroutine（）会让主进程分成两部分，然后同时执行函数里面的的代码与协程后面的代码。yield StartCoroutine()会先执行函数里面的，然后执行yield后面的代码。Unity脚本的生命周期内，协程是在LateUpdate（）后面执行的。
2018-01-12 19:38:52
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人