- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark读取hdfs文件原理
var sconf = new SparkConf().setAppName(this.getClass.getName).setMaster("yarn")var sc = new SparkContext(sconf)sc.textFile("hdfs://m2:9820/README.md")查看textFile方法内容如下： /** * Read a text file from HDFS, a local file system (available on all nodes),
2020-12-25 16:13:01
820
原创 时间维度表生成脚本
# !/bin/bashstart_date=$1end_date=$2temp_date_full=`date -d $start_date +%F`temp_start_second=`date -d $start_date +%s`temp_end_second=`date -d $end_date +%s`min=1max=$[($temp_end_second-$temp_start_second)/(24*60*60)+1]cat /dev/null >...
2020-12-16 17:31:34
310
linux与shell相关
Linux是一款类Unix操作系统，它的出现离不开GNU自由软件运动中诞生的开发环境和编译器，又反过来极大的推动了GNU自由软件运动，让崇尚自由软件精神的先驱们不必继续局限在Unix系统上进行开发。Linux出现后，sendmail, wu-ftp, apache等团队纷纷启动了基于Linux系统的开发计划。
2018-12-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人