2020-10-22

最新推荐文章于 2022-06-07 10:34:15 发布
最新推荐文章于 2022-06-07 10:34:15 发布
阅读量91 收藏
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laidongxu666/article/details/109227443
版权

flink 日志

  1. 本地运行时，使用的是项目里的prope
  2. 线上执行时，使用的是 flink 安装路径下conf/prop
  • conf
    • log4j-cli.properties

      使用flink客户端提交时使用的配置。即执行：flink run xxx

    • log4j-console.properties

      使用flink-console.sh时使用的配置

    • log4j.properties

      flink on yarn 独立任务时使用的配置

    • log4j-yarn-session.properties

      flink on yarn session 时使用的配置

    • logback-console.xml

      同 log4j-console

    • logback.xml

      同 log4j

    • logback-yarn.xml

      同 log4j-yarn-sessio

红烛暗盗梦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
catchLogs_2020-10-22 at 00:15:09_6.30.1__.java.txt
07-24
catchLogs_2020-10-22 at 00:15:09_6.30.1__.java.txt
第二课 Flink 安装部署、环境配置及运行应用程序（1）
博客
08-15 2800
第二课
【Flink】CDH/CDP Flink on Yarn 日志配置
Mrerlou的博客
06-07 2666
由于 应用程序大多是长时间运行的作业，因此 和 文件的大小很容易增长到数 GB，这可能会在您查看 上的内容时出现问题。这篇文章整理了如何为 启用 和 的滚动日志记录。这边文章为在 环境下的配置，并且这篇文章适用于 集群和 。 使用的默认日志是 Log4j，配置文件的如下：默认情况下， 没有配置滚动文件附加程序。进入 Cloudera Manager -> Flink -> Configuration -> Flink Client Advanced Configuration Snippe
Flink学习之环境搭建，项目结构
mmmSMM_的博客
03-14 1736
1.Flink安装准备 Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 GitHub 上，并使用 Maven 来编译和构建项目。对于大部分使用 Flink 的同学来说，Java、Maven 和 Git 这三个工具是必不可少的，另外一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 Bug。因为篇幅所限，我们不会详述每个工具的安装细节，但会...
spark报错Error while instantiating 'org.apache.spark.sql.internal.SessionState'
行路者
04-10 3461
Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.internal.SessionState'…………………… Caused by: java.lang.reflect.InvocationTargetException ...
log4j 设置部分log级别 log4j.properties中的设置
群峰之巅的专栏
11-12 1万+
log4j 设置部分log级别 log4j.properties中的设置 Could not find property [struts.valueStack] 个别类的log级别提高 log不记录所有的info信息 log4j.properties中设置category
MyRPG2020-10-22.rar
10-22
这是我的毕业设计项目，我正在开发一个MMORPG的游戏Demo，以后每隔一段时间我都会上传一份最新的Demo工程。
gmall2020-mock-log-2020-04-01.jar
12-30
用户行为日志生成脚本
catchLogs_2020-10-22 at 00:15:10_6.30.1__.java.txt
07-24
catchLogs_2020-10-22 at 00:15:10_6.30.1__.java.txt
Simulator Screen Shot - iPhone 12 Pro Max - 2020-10-22 at 15.47.02.png
01-25
greg
catchLogs_2020-10-22 at 08:24:53_6.30.1__.java.txt
07-24
catchLogs_2020-10-22 at 08:24:53_6.30.1__.java.txt
catchLogs_2020-10-22 at 08:25:05_6.30.1__.java.txt
07-24
catchLogs_2020-10-22 at 08:25:05_6.30.1__.java.txt
catchLogs_2020-10-22 at 00:15:11_6.30.1__.java.txt
07-24
catchLogs_2020-10-22 at 00:15:11_6.30.1__.java.txt
catchLogs_2020-10-22 at 20:43:49_6.30.1__.java.txt
07-24
catchLogs_2020-10-22 at 20:43:49_6.30.1__.java.txt
catchLogs_2020-10-22 at 20:44:04_6.30.1__.java.txt
07-24
catchLogs_2020-10-22 at 20:44:04_6.30.1__.java.txt
Flink使用logback须知
qq_36643786的博客
05-21 5379
Flink使用logback作为日志框架的相关配置 一、client端pom文件配置 <dependencies> <!-- Add the two required logback dependencies --> <dependency> <groupId>ch.qos.logback</groupId&gt...
Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行
Ververica的博客
07-17 2035
作者：沙晟阳 前言 本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink，并着手相关开发调试工作。 课程内容包括： Flink 开发环境的部署和配置 运行 Flink 应用（包括：单机 Standalone 模式、多机 Standalone 模式和 Yarn 集群模式） 一、Flink 开发环境部署和配置 Flink ...
Flink on yarn日志输出
热门推荐
初学者
08-29 1万+
Flink on yarn日志输出-终极方案 题主在做flink实时流时，一直不能在flink web上打印出日志，百思不得其解，想找到相应的日志文件，却也没找到，查阅了大量资料以及通过自己的实践，总算搞明白了flink on yarn的日志输出，这里写一篇文章，以此来记录。 首先，我们在看flink的日志输出时，要先明白flink/conf下面的日志配置文件的作用。 log4j-cli.pro...
flink日志问题
L13763338360的博客
10-21 3895
flink实时任务，使用了debug，但taskManager上运行的任务一直没有debug级别的日志，只有info日志。 最终回到flink配置，弄清flink/conf下面的日志配置文件作用 log4j.properties：在yarn模式下，jobManager和taskManager上用的log配置都依赖于它！ log4j-cli.properties：flink run启动时的日志依赖于该配置 log4j-yarn-session.properties：用yarn-session.sh启
结果是这样的，没有根据id排：start_date end_date 0 2020-01-15 2020-04-27 1 2020-09-30 2020-10-10 2 2021-02-07 2021-02-22 3 2021-03-06 2021-03-24 4 2020-01-21 2020-03-03 .. ... ... 639 2021-03-09 2021-03-18 640 2021-03-24 2021-04-01 641 2020-01-12 2020-04-19 642 2021-02-09 2021-02-18 643 2020-01-18 2020-03-09
最新发布
06-03
如果你想根据企业id对结果进行排序，可以在输出结果之前加上一行代码： ```python result = result.sort_values(by=['id']) ``` 此代码将会根据id对结果进行排序，使得每个企业的结果排在一起。完整的代码如下： ```python mean = DataFrame.groupby(['id'])['amount'].mean() # 列出每个企业用电量低于均值时间超过一周的时间段，标记起始时间和结束时间，省略中间时间 filtered_data = DataFrame[DataFrame['amount'] < DataFrame['id'].map(mean)] filtered_data['date'] = pd.to_datetime(filtered_data['date']) filtered_data['diff'] = filtered_data.groupby('id')['date'].diff().dt.days filtered_data['period'] = (filtered_data['diff'] > 1).cumsum() # 找出连续时间段，并计算起始时间和结束时间 result = filtered_data.groupby(['id', 'period']).agg(start_date=('date', 'min'), end_date=('date', 'max')) result = result[result['end_date'] - result['start_date'] > pd.Timedelta(days=7)].reset_index(drop=True) # 根据id排序输出结果 result = result.sort_values(by=['id']) print(result) ``` 输出结果将会按照企业id进行排序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值