![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
寻找手艺人
做好每一件小事,就是一件了不起的大事
展开
-
spark standalone submit任务后一直等待,initial job has not accepted any resources
由于集群(1Master,Slaves)的资源非常可怜,每个节点系统可用的内存分配不足,所以设置了几个参数:export SPARK_WORKER_MEMORY=512Mexport SPARK_DAEMON_MEMORY=256M情况如下:...原创 2018-10-15 09:22:37 · 1064 阅读 · 0 评论 -
Hive lag()与lead() 函数
lag与lead函数是跟偏移量相关的两个分析函数,通过这两个函数可以在一次查询中取出同一字段的前N行的数据(lag)和后N行的数据(lead)作为独立的列,从而更方便地进行进行数据过滤。这种操作可以代替表的自联接,并且LAG和LEAD有更高的效率。over()表示 lag()与lead()操作的数据都在over()的范围内,他里面可以使用partition by 语句(用于分组) order b...原创 2018-11-20 09:27:52 · 25251 阅读 · 0 评论 -
解决spark standalone模式 以cluster模式提交时找不到jar包问题
原submit提交脚本:#!/bin/bashspark-submit \ --class com.jxre.bigdata.sparks.SumIrradiateCalc \ --master spark://node1.sdp.cn:7077 \ --driver-memory 3G \ --deploy-mode cluster \ --supervise \ -...原创 2019-01-30 15:22:48 · 2671 阅读 · 0 评论 -
linux定时删除日志脚本功能
#!/usr/tcl/bin/expect -f for {set i 14} {$i < 24} {incr i} { spawn ssh root@192.168.4.$i expect { "*password:*" { send "123456\r" exp_continue } ...原创 2019-01-30 15:32:16 · 607 阅读 · 0 评论 -
Centos6.5(final)搭建高可用HA Spark集群
1、准备环境jdk1.8zookeeper集群hadoop集群ssh免密1.1节点规划IPhostname节点规划192.168.4.14node1.sdp.cnmaster192.168.4.15node2.sdp.cnstandby192.168.4.16node3.sdp.cnworker192.168.4.17node4...原创 2019-03-21 09:55:23 · 240 阅读 · 0 评论