＜记＞ 一次Presto踩坑日志

最新推荐文章于 2024-02-20 15:49:20 发布
最新推荐文章于 2024-02-20 15:49:20 发布
阅读量529 收藏 1
点赞数 1
文章标签： presto
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44560999/article/details/114897329
版权

<记> 一次Presto踩坑日志

Presto任务执行大量失败报错
在这里插入图片描述
查看新扩容Presto—Work机器配置：
在这里插入图片描述

展示的是操作系统允许的线程总数和能够打开文件数的大小

问题原因：扩容的2台机器 操作系统参数设置较小，presto进程达到了系统所限制的最大打开文件数量。
解决方案：下线新扩容机器

cat /etc/security/limits.d/90-nproc.conf 
  - nofile 65536
  - nproc  65536

重启进程

cd presto/bin/
./launcher start
大小不是白
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2021-12-24 迈向程序猿的第五十四步
qq_48654729的博客
12-24 1595
目录 一、Presto的概述 1.1 Presto的简介 1.2 Presto支持的数据源 1.3 Presto和Hive的比较 1.4 Presto与Impala的比较 二、Presto的体系架构 2.1 简介与图解 2.2 Presto中SQL运行过程 2.3 MapReduce vs Presto 三、Presto的安装 3.1 Presto Server的安装 3.2 Presto server的运行 3.3 Presto Client安装 3.3.1 第一种客户端：..
presto查看日志
前方的路在刚开始
03-12 3939
国内用presto的真是少 武汉就我们公司在用吧 查看日志 /data/presto/data/var/log
presto + kafka + logstash 实时监控分析nginx日志
weixin_44144932的博客
04-22 411
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
启动presto时，日志中出现”Unsupported major.minor version 52.0“解决方案
徐振跃的专栏
01-28 2081
问题： 启动presto：/home/hadoopuser/presto-server-0.166/bin/launcher start 访问：http://hadoopnode:8081/   失败 查看日志：/home/hadoopuser/presto-server-0.166/presto_data/var/log/launcher.log，如下所示 Exception in threa...
presto集群内存报警
记录
09-22 878
下午的时候线上机器忽然内存告警，登录机器看了下显示presto进程占用内存特别高 按照以往的经验，一般是系统出现某个查询所需内存特别大导致机器报警。 然而，登上presto webui界面查询，并无大数据量的查询，也无长时间的超时，甚至那会都没几个用户用presto查询数据。 ps了下进程获取到presto日志路径，查看后发现节点已经挂了，但是进程还在。 造成该现象的原因还没找到，但最后解决办法是把该节点重启了下，机器内存使用率回复正常。 此外，在presto/etc/confi.
html做点击移动button,HTML <button> 元素
weixin_42453050的博客
07-20 1658
HTML 元素 表示一个可点击的按钮。以下代码展示了一个按钮：点我!特性属性该元素包含了 全局属性。HTML5 中的新属性：autofocus、form、formaction、formenctype、formmethod、formnovalidate 以及 formtarget。一个布尔值的元素属性。用于指定当页面加载时，该按钮应当自动获得输入焦点。除非是用户重写，例如通过其他控件键入，才会失去...
基础HTML1
TDFSFSF的博客
09-26 855
1、开发工具 chrome谷歌 sublime编译器 DW Huilder WebStorm VS code Photoshop ps软件：熟练的切图，设计海报做电商和UI 浏览器是网页显示运行的平台 常用的：firfox chrome 微软的IE浏览器和Edge浏览器、opera浏览器、safari浏览器等 网页主要由文字、图像和超连接等元素构成，还包含音频、视频、fl...
presto JDBC maven代码
福州大数据 hadoop学习
11-27 1060
2.3. JDBC Driver 1-JDBC jar 或maven  Presto支持JDBC driver访问，下载 presto-jdbc-0.191.jar，添加到应用程序的 class path 中，同时也可以通过Maven中心仓库连接： &lt;dependency&gt;     &lt;groupId&gt;com.facebook.presto&lt;/groupId&gt...
Semantic analysis exception - column risk_label in source has incompatible type ARRAY<STRING> with destination column risk_label, which has type STRING 这个报错能用ospssql给ARRAY<STRING>转换成string类型吗,sql该如何写
07-14
您可以使用Presto SQL中的函数`array_join`将`ARRAY<STRING>`转换为`STRING`类型。您可以使用以下SQL语句来解决此问题： ```sql SELECT array_join(risk_label, ',') AS risk_label FROM your_table; ``` 在上述...
presto 自定义标量udf
mapeng765441650的博客
04-01 433
在工作中，经常需要用到一些自定义函数，本文将以工作用用到的解密函数来做一个udf开发； 本问文旨在做记录. 1. pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3....
Presto进程管理实现监控&宕机重启
杨鑫newlife的专栏
12-09 1235
方案一： #!/bin/bash . /etc/profile check() { ip_addr=$(ifconfig -a|grep -o -e 'inet addr:[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}.[0-9]\{1,3\}'|grep -v "127.0.0"|awk '{print $2}') # 报警通知 ip_addr Pres...
Presto报错汇总
x²＋(y－√³x²)²＝1的博客
06-28 1823
一、the transaction did not commit cleanly,failed to execute some metastore delete operations That happens because party responsible for deleting table files from HDFS on DROP TABLE is Hive Metastore (not Presto itself). Currently Presto does not support imp
Presto启动报错：No such file or directory
lucyLee的博客
07-07 429
sudo方式启动Presto，提示No such file or directory
报错GENERIC_INTERNAL_ERROR(65536)处理
xianhai_teng的博客
11-16 2583
报错GENERIC_INTERNAL_ERROR(65536)处理 presto查询apache druid的数据插入到kudu偶尔报错：GENERIC_INTERNAL_ERROR(65536) java.lang.IllegalArgumentException:Unknow field druid.druid.数据源名称.字段名:varchar com.google.common.base.Preconditions.checkArgument(Preconditions.java:216) 查看dr
Presto的介绍、使用和原理架构
迷雾总会解
06-15 7998
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。Presto 本身并不存储数据，，但是可以接入多种数据源，并且支持跨数据源的级联查询，而且基于内存运算，速度很快，实时性高。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务 (OLTP)。适合：PB级海量数据复杂分析，交互式SQL。
【presto权威指南】presto目录结构
最新发布
醉与浮的博客
02-20 282
包含 Presto 插件及其依赖关系，各个插件分开存放在不同的目录下。Presto 默认已经包含许多插件，你也可以添加第三方插件。Presto 允许多种可插拔的组件，如连接器、函数和安全访问控制等与其集成。存放日志信息的数据目录。Presto 服务端第一次启动时会创建此目录，它默认情况下位于安装目录下。我们推荐将其配置为安装目录之外的位置，以便在升级过程中保留这些数据。这些脚本用于启动、停止、重启、终结 Presto 进程，以及获得运行该进程的状态。此目录由用户创建并提供 Presto 必需的配置文件。
【presto】监控presto打开文件描述符脚本
Mrerlou的博客
09-15 303
前言 最近在维护presto集群，集群运行一段时间后，会有部分节点打开的文件描述符超出linux的限制。有的人想到会去增加进程打开文件数的限制。 但根据我的排查，这个原因一般是在presto 服务OOM后发生的，此时服务虽然没有挂掉，但其实已经处于不稳定的状态了。很容易让任务挂掉。 于是决定监控下presto的打开文件描述符，经过观察，公司的presto集群通常打开的文件描述符是在1万5一下。遂将监控报警阈值调整为2万。 一、脚本内容 #!/bin/bash # presto_file_descripto
Presto必知必会
热门推荐
DataFlow范式
09-07 2万+
1.      概述Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。 Presto通过使用分布式查询，可以快速高效的完成海量数据的查询。如果你需要处理TB或者PB级别的数据，那么你可能更希望借助于Hadoop和HDFS来完成这些数据的处理。作为Hive和Pig（Hive和Pig都是通过MapReduce的管道流来完成HDFS数据的查询）的替代者，Presto
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值