- 博客(14)
- 收藏
- 关注
RSS订阅原创 在linux下如何显示隐藏文件
#显示所有文件（包含隐藏文件） ls -a #只显示隐藏文件 l. 或者 ls -d .* ll不显示文件夹，却能进去，说明文件夹被隐藏了，ls -a就能列出来 查找文件或文件夹的命令 fine -name "*superset"
2022-01-24 17:24:59
2128
原创 DataFrame的分位数理解
作者：冯春明 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 如何通俗地理解分位数? 分位数在平时的一个应用场景； 什么是分位数？以概率将一批数据进行分割 如何计算？ 一天，老班气冲冲地走进教室对我们说：“太不像话了，这次考试竟然有60%的同学不及格！” 老师这句话里就有一个分位数的应用。 什么是分位数？ 在此我不想给出书上的定义，因为有那么多的同学发问怎么求分位数，正是因为不理解书上所写，好，怎么才能快速理解分位数呢？ 一句话，分位数就是用概率作为依据.
2022-01-19 17:48:01
1549
原创 Spark job failed during runtime. Please check stacktrace for the root cause.
spark日志：Caused by: java.io.IOException: Connection reset by peer hive on spark进行数据装载时报的错，百度了好多解决方法，也试了好多 最后发现是分区太多卡住的。。。。无语。。。。按天分区改成按月分区就可以了 但是不能一直按月分区呀，就设置了临时动态分区数： SET hive.exec.max.dynamic.partitions=100000; //设置 hive的最大动态分区数 SET hive.exec.max.dyn.
2022-01-13 17:14:00
1418
原创 HQL怎么用身份证计算年龄
floor(( UNIX_TIMESTAMP(current_date) -UNIX_TIMESTAMP(substr(card_no,7,8),'yyyyMMdd'))/(365*24*60*60)) as age
2022-01-05 09:43:55
273
原创 mysql数据存入hive，出现大量null值，条数增多
是mysql中数据有问题，不规范 可以换一下分隔符 或者加--hive-drop-import-delims \ 或者--hive-delims-replacement “ ” \
2021-12-28 16:43:03
1055
原创 sqoop报错：Error: java.io.IOException: SQLException in nextKeyValue
Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:568) at org.apache.hadoop.m
2021-12-22 17:33:44
897
原创 hive建表comment中文注释乱码
是hive元数据库MySQL中的字符集有问题 连接mysql进入元数据库metastore mysql> use metastore; alter database metastore character set latin1; alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varcha
2021-12-22 14:18:06
1063
原创 You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version
Error executing statement: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'order where (1 = 0)' at line 47 co.
2021-12-20 15:22:28
1171
原创 sqoop
bin/sqoop import \ --connect jdbc:mysql://*********/company \ --username root \ --password ***** \ --table staff \ --target-dir /user/test \ --delete-target-dir \ --fields-terminated-by "\t" --num-mappers 1 \ --split-by id //按照id切片，根据上面指定map的个数进行切片...
2021-12-10 14:26:01
1456
原创 sqoop
xshell中获取前一天date命令：date -d '-1 day' +%F do_date=`date -d '-1 day' +%F` //添加飘号直接获取时间命令结果
2021-12-10 14:18:16
537
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人