macfei的博客

原创 hive函数

关系运算符以下运算符比较传递的操作数，并根据操作数之间的比较是否成立来生成TRUE或FALSE值。操作员操作数类型描述A = B所有原始类型如果表达式A等于表达式B，则为TRUE，否则为FALSE。A == B 所有原始类型 =运算符的同义词。A <=> B所有原始类型对于非空操作数，使用EQUAL（=）运算符返回相同的结果，但如果两个均为NULL，则返回TRUE，如果其中之一为NULL，则返回FALSE。（从0.9.0版开始。）A <> B所有原始类型如

原创 hive建表读取TXT文本

1.建表语句create table temp.mg_order(father_id string,order_id string,user_id string,account string,created_time timestamp,pay_status string,pay_time timestamp,money double,pay_type string,mall string,order_type string,order_status string)ROW for

原创 看hdfs指定文件夹大小

看hdfs指定文件夹大小hdfs dfs -du -s -h path第一列是实际文件夹大小,第二列是备份大小

原创 hive中上个月第一天,最后一天

每个月的第一天trunc()查看该函数的详细用法desc function extended trunc;上个月第一天select trunc(add_months(current_date(),-1),'MM'); 结果:2021-07-01每年第一天select trunc(current_date(),'YY');结果:2021-01-01每个月的最后一天last_day()上个月的最后一天select date_format(last_day(add_m

原创 hive常用命令

1.内部表转外部表alter table temp.app_user_stage SET TBLPROPERTIES('EXTERNAL'='true');2.外部表转内部表alter table temp.app_user_stage SET TBLPROPERTIES('EXTERNAL'='false');3.增加表分区alter table temp.app_user_stage add partition(pt=20210701);alter table dtwarehouse.

原创 select * 有数据,select count(*) 没有数据

analyze table dtwarehouse.app_user_stage_temp partition(pt=20210701) compute statistics;

原创 hue添加udf函数方法

1.hue界面有一个设置的图标,2.点开,会出现三个加号3.files :上传jar包在hdfs上面的路径functions:d第一个空格是自定义函数的名称,第二个空格是jar的全路径4.使用自定义的函数

原创 sftp拉取数据到hive中

sftp拉取数据到hive中#sftp服务器地址host=10.129.11.50#端口port=8888sftp_user=user#密码password=passw0rd#下载到本地的目录localDir=/home/hive/nps/nps_dealer/${pt}/[ ! -d $localDir ] && mkdir -p $localDir#sftp中待下载文件目录remoteDir=/home/appuser/report/R#要下载的文件为fi

原创 hive时间格式的转换

把2.02102261356020(double类型)转为2021-02-26 13:56:021.先截取前14位select substr(2.02102261356020,0,15)2.去除小数点select regexp_replace(substr(2.02102261356020,0,15),'\\.','')3.select unix_timestamp( regexp_replace(substr(2.02102261356020,0,15),'\\.',''),'yyyy

原创 HDFS安全模式

主要就是4个命令语句hdfs dfsadminhdfs dfsadmin -safemodehdfs dfsadmin -safemode forceexithdfs dfsadmin -safemode leave

原创 spark脚本因为特殊符号报错

这段SQL在hue里面测试成功,但是在spark脚本里面执行报错,最终定位的问题是出现了一个中文的全角空格,把全角空格全部替换成空格就没有问题了.![在这里插入图片描述](https://img-blog.csdnimg.cn/20201229104729405.png...

原创 Linux常用命令

保存退出shift+zz / :wq!不保存退出:q!剪切dd粘贴p撤销u查看实时日志tail -f daily-mcf-2020-12-23.log/string搜索字符串 （字符串输入完之后，按enter键，然后按n查看下一个字符串的位置）到最后一行shift+g / G第一行gg显示行号/隐藏行号:set nu / :set nonu跳转到88行(先把行号显示出来使用较好)88gg / 88G...

原创 cast ,case when的用法

1.case when的用法需求:将brand_type对应的数字翻译成品牌select case when brand_type=1 then '荣威' when brand_type=2 then '名爵' when brand_type=4 then 'R标' else brand_type end as attr1 from tb2.手机号加密//第一

原创 hive登录设置

hiveserver2--启动hive的元数据服务hive --service metastorebeeline -u jdbc:hive2://localhost:10000 -n root--hive本地运行set hive.exec.mode.local.auto=true;--或者set mapreduce.framework.name=local;--查看建表语句show create table 表名...

原创 coalesce的用法（将join后为null的值设置一个默认值）

需求:C表的uid和B表的id进行关联,如果关联上则取值为’是’,否则为’否’c.txt1,北京2,上海3,合肥b.txt2,嘉定3,六安4,昌平--建表语句create table test.tb_c (uid int ,addr string )row format delimited fields terminated by ',' ;load data local inpath '/doit17/c.txt' into table tb_c ;create t

原创 在Linux中修改MySQL的密码

1先使用自己的密码账号登录MySQL2一些修改密码的命令会因为设置的密码简单而报错，输入这两个命令则不会出现这个问题。mysql> set global validate_password_policy=0;mysql> set global validate_password_length=1; 这个两个设置以后 密码很简单不会报错3设置自己的新密码ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';4quit退出

原创 Spark广播变量

广播的目的广播变量是为了实现mapside join ,可以将Driver端的数据广播到属于该application的Executor，然后通过Driver广播变量返回的引用，获取事先广播到Executor的数据。mapside join当连接的两个表是一个比较大的表和一个比较小的时候，我们把比较小的table直接放到内存中去，然后再去对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去查看小表的数据，哪条与之相符，继而进行连接，这里的join并不

原创 IDEA注释的设置

File—>Settings—>Editor—>Code Style—>File and Code Templates

原创 Master is initializing 问题

Master is initializing 问题进入Hbase界面的时候,可以list看罗列出来的表,但是create_namespace的时候,会出现卡在那里不动,直到最后跳出连接超时或者然后打算关闭Hbase 也会一直加载最后的解决办法是:**1.先把hdfs上根目录下的hbase文件夹给删了**先给hbase文件夹权限hdfs dfs -chmod -R 777 /hbase删除文件夹hdfs dfs -rm -R /hbase2.把zookeeper里面的h

原创 去除Hive里面的info信息

关闭Hive里面info信息的两种方法1.登录beeline的时候,输入如下语句beeline--hiveconf hive.server2.logging.operation.level=NONE2.在hive-site.xml 文件中加上如下语句路径/opt/apps/hive-3.1.2/conf<property> <name>hive.server2.logging.operation.enabled</name>

原创 ClickHouse命令语句

进入click(不加上-m的话，进入之后只能一次写一行，不能建表)clickhouse client -mshow databases; 查看数据库create database db_doit; 创建一个数据库 drop database db_doit； 删除数据库show tables: 查看表查看当前使用的数据库select currentDatabase();创建一个表(建表的时候指定数据类型，建表的时候一定要指定表引擎)create table tb_

原创 JAVA数组的简介

原创 JAVA循环

原创 JAVA中的 if 和 switch的语句 上

第一种形式if(关系表达式) {​ 语句体；​ }​ 执行流程​ 首先判断关系表达式看其结果是true还是false,​ 如果是true就执行语句体​ 如果是false就不执行语句体第二种形式​ 格式​ if(关系表达式) {​

原创 JAVA的一些运算符

原创 JAVA变量介绍

JAVA变量介绍关键字关键字是被java语言赋予了特殊含义的单词,例如class,public,static,void等等.1.关键字都是小字;2.高级编辑工具中,关键字有特殊的颜色标记,如Notepad++;3.main不是关键字,但也被jvm赋予了特殊的含义,main方法是一个入口函数,jvm运行java的时候,只能识别main函数,然后运行其中的内容.标识符对类,接口,变量和方法进行起名字的字符序列就叫做标识符.组成规则1.英文大小字母;2.可以有数字,但不能以数字开头;3.不能

原创 java入门介绍

## JAVA入门介绍计算机计算机由硬件和软件组成,硬件是为计算机软件提供物质基础,通常由CPU,电源,主机箱,鼠标,键盘,显示器等组成.计算机软件可以分为应用软件和系统软件,系统软件(os)有Windows,Android,IOS,Linux等,应用软件有qq,wps,YY等,如何和机器交互软件的出现实现了人与计算机之间更好的交互,交互的方式有图形化界面和命令行方式,图形化界面这种方式简单直接,使用者易于接受,容易上手.命令行方式需要一个控制台,输入特.