Carl_wang3333333的博客

原创 sed命令

原创 取小数不想四舍五入怎么办

【代码】取小数不想四舍五入怎么办。

原创 mysql和maxcompute字符字节计算差异

5.0版本以上，varchar(100)，指的是100字符，无论存放的是数字、字母还是UTF8汉字（每个汉字3字节），都可以存放100个。4.0版本以下，varchar(100)，指的是100字节，如果存放UTF8汉字时，只能存33个（每个汉字3字节）CHAR_LENGTH函数:用于计算字符串的字符数。它可以接受一个字符串作为参数,并返回该字符串的字符数。它可以接受一个字符串作为参数,并返回该字符串的字节数。具体还是要看版本的，一个字符占用3个字节 ，一个汉字（包括数字）占用3个字节=一个字符。

原创 hive1.1升级至hive2.1版本新特性

语法兼容性Hive版本升级后，语法要求越来越严格，越来越接近于ANSI SQL标准，所以很多在1.1可以跑成功的SQL，到了2.1会报错。新增预留字新的版本Hive会预留更多保留字，比如timestamp、date、time、show、drop等，预留字可在hive官网查看预留字使用方法：`timestamp\（不这样则全为null，一些设置set参数的方法很多时候并不能起作用无法满足多种...

原创 python落地成文件不需要序列

#!/usr/bin/python3# -*- coding: utf-8 -*-import os date1 = datetime.datetime.now().isoformat()date2 = ((datetime.datetime.now()-datetime.timedelta(minutes=1)).strftime("%Y-%m-%dT%H:%M:%S")) def...

原创 cron表达式

0/5 ****?表示每 5 秒执行一次0 0/5 ***?表示每 5 分钟执行一次七个域从左到右依次是，秒，分，时，日，月，周几，年。。。。最后一个可选。同样是七个域与当前时间匹配的时候则执行。。。n/m 表示从n开始的每个m即，n,n+m,n+2m…· * 表示任意可能的取值。比如用在秒里是0，1，2，3，…，59? 可以用在日和周几里面，，感觉和* 没有区别，似乎是这两个域不...

原创 Linux下使用awk在接口后直接解析json数据

curl -g 'http:/10.111.11.111:11111/api/v1/query?query=cpu'|jq -c .data.result[]|awk -F '"' '{print "cpu\t" $(NF-9) "\ttime\t" $(NF-2) $(NF-1)}' | awk -F: '{print $1,$2}'|awk -F, '{print $1,$2}'|awk -...

原创 Linux装jq

wget -O jq https://github.com/stedolan/jq/releases/download/jq-1.6/jq-linux64可以自行下载拷贝chmod +x ./jq加权限cp jq /usr/bin为了全地址可以使用

原创 Linux中特别目录文件到一个文件

tar -cvzf 自定义文件名.tar.gz 要压缩的文件目录。rz上传，sz下载假设有 A 、 B 、 C 等目录，分别包含 1 、 2 、 3 、 a 、 b 、 c 等文件或目录，现在需要分别把 1\2\3\a\b\c 这些文件用 zip 压缩，文件名为“相应的目录.zip ”，但不能包含 A 、 B 、 C 等目录本身，还不能改变目录结构。如果是三层：for i in `find...

原创 word中图片居中

选中图片ctrl+e

原创 return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

hive执行入仓脚本报如下error：`return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask`如下四个设置均无果 set hive.auto.convert.join = false; set hive.ignore.mapjoin.hint = false; set hive.exec....

原创 Navicate问题

Navicate问题在没有网络连接时Navicat可能会出现2005-Unknown MySQL server host 'localhost’这样的问题，将其中的连接属性中的主机名或者IP地址改成127.0.0.1就可以解决...

原创 hive分区表删除部分数据

1、hive表删除数据不能使用DELETE FROM table_name 的SQL语句2、hive表删除数据要分为不同的粒度：table、partition一、有partition表删除具体partitionalter table table_name drop partition(partiton_name=‘value’))2. 删除partition内的部分信息(INSERT...

原创 遇到的问题及解决办法

遇到的问题及解决办法在redis再创建集群，但报错，如下图所示：图中报的错即：[ERR] Node 192.168.161.131:7000 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0. 这就奇怪了，于...