- 博客(4)
- 收藏
- 关注
RSS订阅原创 Presto优化
Presto的优缺点优点Presto基于内存运算，减少了磁盘IO，计算速度更快。能够连接多个数据源，跨数据源连表查询，如从Hive查询大量网站访问记录，然后从Mysql中匹配设备信息。缺点Presto能够处理PB级别的海量数据分析，但Presto并不是把PB级别数据都放在内存中计算。而是根据场景，如Count、AVG等聚合运算，边读数据边计算，再清理内存，再读数据再计算，这种消耗的内存并不高。但是连表查询，就可能产生大量的临时数据，因此速度会变慢。Presto优化之数据存储合理设置分区
2021-06-26 11:45:00
364
原创 Spark任务：Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure问题
Spark任务：Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure问题跑Spark任务时报错，复制任务id(application_1111_222)到yarn页面中检索，发现报以下错误：Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure使用sc读取
2021-04-15 11:04:50
12380
原创 Hadoop namenode启动失败 Cannot assign requested address
在Hadoop安装目录的logs下查看日志第一种情况：java.io.IOException: NameNode is not formattednamenode没有格式化，格式化NameNode：bin/hdfs namenode -format（第一次启动时格式化，以后就不要总格式化）格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据，然后再格式化NameN...
2020-05-13 22:09:00
713
原创 成功解决ZooKeeper配置中出现Error contacting service. It is probably not running
安装zookeeper时候，可以查看进程启动，但是状态显示报错：Error contacting service. It is probably not running安装zookeeper-3.4.9的时候，启动正常没报错，但 ./zkServer.sh status查看状态的时候却出现错误，如下：JMX enabled by defaultUsing c...
2020-04-16 18:53:22
9533
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人