Linux
Vicky_Tang
You still have lots more to work on!
展开
-
大数据——利用shell脚本生成时间维度表
#!/bin/bash# 接收两个参数date1="$1"date2="$2"# 定义日期变量tempdate=`date -d "$date1" +%F`# 定义起始时间戳和终止时间戳,用来计算起始日期和终止日期中间的天数startdateSec=`date -d "$date1" +%s`enddateSec=`date -d "$date2" +%s`min=1# 计算起始日期和终止日期中间的天数max=`expr \( $enddateSec - $startdateS.原创 2021-08-05 22:34:29 · 11123 阅读 · 0 评论 -
Lunix下大数据相关软件安装及配置(更新至Kafka)
1.软件版本介绍软件名安装包名Mysqlmysql57-community-release-el7-9.noarch.rpmJDKjdk-8u171-linux-x64.tar.gzHadoophadoop-3.1.3.tar.gzHiveapache-hive-3.1.2-bin.tar.gzZeppelinzeppelin-0.8.2-bin-all.tgzZookeeperapache-zookeeper-3.5.7-bin.tar.gz原创 2021-06-28 20:18:35 · 9951 阅读 · 4 评论 -
Shell一键关闭Hadoop、Hive脚本
Shell一键关闭Hadoop、Hive脚本#!/bin/bashsource /etc/profile#一键关闭脚本配置文件CNF_FILE="stop.cnf"#读取配置文件中配置的服务项CNF_LINES=(`cat $CNF_FILE`)COUNT=0for item in ${CNF_LINES[@]}do ((COUNT++)) item=(${item//->/ }) echo "$COUNT、${item[0]}"done#选择需要关闭的服务rea原创 2021-06-15 19:04:08 · 10221 阅读 · 2 评论 -
Hive常见set的配置设置
Hive常见set的配置设置设置reduce数量(默认值-1)set mapred.reduce.tasks=100;set mapreduce.job.reduces=3;修改表为内部表set tblproperties('EXTERNAL'='FALSE');开启分桶表(默认false)set hive.enforce.bucketing=true;开启Hive中间传输数据压缩功能set hive.exec.cmpress.intermediate=true;开启mapred原创 2021-06-15 18:47:11 · 11795 阅读 · 0 评论 -
Shell 一键启动脚本
Shell 一键启动脚本#!/bin/bash#start.cnf配置文件名称CNF_FILE='start.cnf'#验证配置文件是否存在if [ ! -e $CNF_FILE -o -d $CNF_FILE ]then echo $CNF_FILE" unavailable or directrory,script will exit" exit 0fi#获取配置文件内容CNF_LINES=(`cat start.cnf`)count=0#遍历所需启动的服务for item原创 2021-06-10 14:25:50 · 9931 阅读 · 0 评论