- 博客(16)
- 收藏
- 关注
RSS订阅原创 数仓面试经
1.内部表和外部表的区别?2.MapReduce的工作流程？3.hive的数据倾斜怎么解决？4.分区表和分桶表的区别?5.数仓是怎么建模的？6.order by和sort by的区别？7.hive的动态分区怎么实现？8.有没有实现过UDF函数,在什么场景用到的？9.mapreduce过程中map大小是多少？10.hive的优化参数有哪些,举例说明用途？11.sql题 连续3天登录的用户？(经典sql题)12.left join时候大表应该放在左边还是右边？13.union和 unio
2021-09-23 11:29:21
197
原创 Shell 入门到放弃大全
bash -x frist_shell.sh 可以查询脚本错误的行数bash -n frist_shell.sh 可以查看脚本语法是否有问题获取当前的日期: echo “$(data+’%F %T’)”声明变量: A=hello取消变量: unset A切分一个变量:例: A=123456echo A:2:3给变量赋值命令结果的俩种方式:1、A=‘hostname‘2、B={A:2:3}给变量赋值命令结果的俩种方式: 1、A=`hostname`2、B=A:2:3给变量赋值命令结
2021-09-15 16:02:14
93
原创 linux过滤切分命令
设置关键字颜色转换例:alias grep=‘grep --color=auto’grep命令:grep ‘root’ filename过滤文件中包含root的行grep -n ‘root’ filename过滤文件中包含root的行并且包含行号grep -ni ‘root’ filename过滤文件中包含root的行并且包含行号(不区分大小写)grep -niv ‘root’ filename过滤文件中不包含root的行并且包含行号(不区分大小写)grep -n ‘^root’ filen
2021-09-14 10:55:15
198
原创 hive表数据误删恢复
hive表或者表数据被误删,都会到垃圾站,可以到垃圾站中去恢复一般的都会在这个路径下,可能会有不同/user/hadoop/.Trash只需要找到被删表名,将下面数据移到hive表对应的hdfs目录即可如果说没找到,可能是因集群配置中没有开启...
2021-08-17 16:09:24
239
原创 linux命令总结seq命令
seq命令用于产生从某个数到另外一个数之间的所有整数语法:1.seq [选项]…尾数2.seq [选项]…首数 尾数3.seq [选项]…首数 增量 尾数seq -f , --format=格式 使用printf样式的浮点格式例:seq -s, --separator=字符串 使用指定字符串分隔数字(默认使用:\n)seq -w, --equal -width 在列前添加0,使得宽度相同...
2021-03-17 14:26:32
112
原创 sftp连接服务器下载文件到本地
#!/bin/bashUSERNAME=“root”PASSWORD=“123456”File_NAME=“xxx100.tar.gz"FileNAME15="xxx{1}00.tar.gz"File_NAME15="xxx100.tar.gz"FileNAME15="xxx{1}15.tar.gz”File_NAME30=“xxx130.tar.gz"FileNAME45="xxx{1}30.tar.gz"File_NAME45="xxx130.tar.gz"FileNAME45="xxx
2020-08-17 15:42:22
3731
原创 Shell比较小数的大小
大家应该都比较了解 -gt -lt -eq -ne -ge这些都是比较整数的。比较小数的时候都会报错。a=2.3if [ echo "$a > 2.0" |bc -eq 1 ];thenecho “$a >2.0”fi使用bc可以比较浮点型的小数然后就可以解决了。...
2020-07-20 15:46:57
3046
原创 hive命令行
输入$HIVE__HOME/hive -H 或者 -help 可以显示帮助选项:说明：1.-i 初始化HQL文件、2.-e从命令行执行指定的HQL例如: hive -e “select * from tablename;”一般都是进不了hive的时候,或者在脚本中直接这样使用3.-f脚本例:vi aa.sqlselect * from aa.sql;bin/hive-f /home/aa.hqlhive.exec.mode.local.auto决定 Hive 是否应该自
2020-07-13 17:56:26
245
原创 Python文件的四种读写方式——r a w r+
文件的基本操作,但是一般都不这么使用,因为经常会忘记使用。password=open(“abc.txt”,mode=“r”,encoding=“UTF-8”)print(password)fileContentn=password.read()print(fileContentn)print(password.closed)password.closeprint(password.closed)print()#为了解决经常关闭文件,使用with open () as 文件名: 会自动关闭文
2020-06-15 16:33:52
414
原创 返回函数
函数作为返回值高阶函数除了可以接受函数作为参数外,还可以吧函数作为结果值返回。但是,如果不需要立刻求和,而是在后面的代码中,根据需要在计算怎么办？可以不返回求和的结果,而是返回求和的函数:调用函数f时,才真正计算求和的结果:在这个例子中,我们在函数lazy_sum中又定义了函数sum,并且,内部函数sum可以引用外部函数lazy_sum的参数和局部变量,当lazy_sum返回函数sum时,相关参数和变量都保存在返回的函数中,这种称为“闭包(Closure)”的程序结构拥有极大的威力。请在注意一点,
2020-06-10 10:47:03
190
原创 py中的高级函数和Map/reduce
传入函数：既然变量可以指向函数.函数的参数能接受变量,那么一个函数就可以接受另一个函数作为参数,这个函数就成之为高阶函数。一个最简单的高阶函数:def add(x,y,f):return f(x)+f(y)当我们调用add(-5,6,abs)时,参数x,y,和f分别接受-5，6和abs,根据函数定义,我们可以推到计算过程为:高级函数的编写和调用。Map/reducepython内建立了map()和reduce()函数。map()函数接受了俩个参数,一个是函数,一个是Iterable,map
2020-06-09 11:21:33
127
原创 HBASE 结构过滤器
1.结构过滤器–FilterListFilterList代表一个过滤器链,他可以包含一组即将应用于目标数据集的过滤器，过滤器具有与“FilterList.Operator.MuST_PASS_ALL”和或“FilterList.Operator.MUST_PASS_ONE”关系FilterList list=new FilterList(FilterList.Operator.MUST_PASS_ONE);//数据只要瞒足一组过滤器中的一个就可以SingleColumnValueFileter fil
2020-05-11 16:45:05
163
原创 将hive库中的建表语句导出到本地文件中的脚本
#!/bin/bashtables=$(hive -e “show tables;”)for table in tables;doecho"tables;do echo "tables;doecho"(hive -e “show create table $table;”);" >> /data01/***.txtdone这个取的是默认库（default）下面的表，如需取指定库下的表,情指定库名。。。...
2020-05-11 15:13:16
705
原创 *linux查看hdfs命令和查询hive的一些语句
**linux的基本命令**查看hive的分区的大小: hadoop dfs -du -h 合并linux本地的小文件:cat aa* >xx.txt查看文件中的内容:cat ,more查看hdfs上文件夹下面的文件 hadoop dfs -ls在hdfs上面创建文件夹 hadoop dfs -mkdir删除hdfs上面的文件:hadoop dfs -rm...
2020-04-22 15:43:05
853
原创 spark sql解析json文件的数组
1.现有Json数据是这样的。{“2B:3E:5Y”,“devicestatus”[{“Time”: “2020-01-20 13:41:23”,“runningTime”: 2563354,“cpuUsage”: 2,“memUsage”: 51}],这个文件是没有表头的,是一个Json格式的,我想用spark sql取给他解数组:吧runningTime吧字符串转换为时间戳...
2020-02-23 11:44:52
1545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人