- 博客(14)
- 收藏
- 关注
RSS订阅原创 在linux下如何显示隐藏文件
#显示所有文件（包含隐藏文件）ls -a#只显示隐藏文件l.或者ls -d .*ll不显示文件夹，却能进去，说明文件夹被隐藏了，ls -a就能列出来查找文件或文件夹的命令 fine -name "*superset"
2022-01-24 17:24:59
2139
原创 DataFrame的分位数理解
作者：冯春明来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。如何通俗地理解分位数?分位数在平时的一个应用场景；什么是分位数？以概率将一批数据进行分割如何计算？一天，老班气冲冲地走进教室对我们说：“太不像话了，这次考试竟然有60%的同学不及格！” 老师这句话里就有一个分位数的应用。什么是分位数？在此我不想给出书上的定义，因为有那么多的同学发问怎么求分位数，正是因为不理解书上所写，好，怎么才能快速理解分位数呢？一句话，分位数就是用概率作为依据.
2022-01-19 17:48:01
1552
原创 Spark job failed during runtime. Please check stacktrace for the root cause.
spark日志：Caused by: java.io.IOException: Connection reset by peerhive on spark进行数据装载时报的错，百度了好多解决方法，也试了好多最后发现是分区太多卡住的。。。。无语。。。。按天分区改成按月分区就可以了但是不能一直按月分区呀，就设置了临时动态分区数：SET hive.exec.max.dynamic.partitions=100000; //设置 hive的最大动态分区数SET hive.exec.max.dyn.
2022-01-13 17:14:00
1420
原创 HQL怎么用身份证计算年龄
floor(( UNIX_TIMESTAMP(current_date) -UNIX_TIMESTAMP(substr(card_no,7,8),'yyyyMMdd'))/(365*24*60*60)) as age
2022-01-05 09:43:55
277
原创 mysql数据存入hive，出现大量null值，条数增多
是mysql中数据有问题，不规范可以换一下分隔符或者加--hive-drop-import-delims \或者--hive-delims-replacement “ ” \
2021-12-28 16:43:03
1056
原创 sqoop报错：Error: java.io.IOException: SQLException in nextKeyValue
Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:568) at org.apache.hadoop.m
2021-12-22 17:33:44
900
原创 hive建表comment中文注释乱码
是hive元数据库MySQL中的字符集有问题连接mysql进入元数据库metastoremysql> use metastore;alter database metastore character set latin1;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varcha
2021-12-22 14:18:06
1064
原创 You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version
Error executing statement: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'order where (1 = 0)' at line 47co.
2021-12-20 15:22:28
1173
原创 sqoop
bin/sqoop import \--connect jdbc:mysql://*********/company \--username root \--password ***** \--table staff \--target-dir /user/test \--delete-target-dir \--fields-terminated-by "\t"--num-mappers 1 \--split-by id //按照id切片，根据上面指定map的个数进行切片...
2021-12-10 14:26:01
1456
原创 sqoop
xshell中获取前一天date命令：date -d '-1 day' +%Fdo_date=`date -d '-1 day' +%F` //添加飘号直接获取时间命令结果
2021-12-10 14:18:16
537
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人