- 博客(4)
- 收藏
- 关注
RSS订阅原创 HIVE压缩及存储方式
1. Gzip2. Bzip2优点： 支持分片，具有很高的压缩率，比gzip压缩率都高，Hadoop本身支持。缺点： 压缩/解压速度慢，不支持Hadoop native库。应用场景： 可以作为mapreduce作业的输出格式，输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况。3. LZO4. Snappy5. 总结 在其中textfile为默认格式，如果在创建hive表不提及，会默认启动textfile格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；与此同
2022-07-06 15:00:10
724
1
转载 mysql的数据类型转换
MySQL 的CAST()和CONVERT()函数可用来获取一个类型的值，并产生另一个类型的值。两者具体的语法如下：select cast("23333.3333" as decimal(9,4)); #第一个参数代表一共几位 第二个参数代表可保留几位小数select CONVERT("23333.3333",decimal(9,4)); 就是CAST(xxx AS 类型), CONVERT(xxx,类型)。其他的转换也可以，但是转换的类型是有限制的。这个类型可以是以下值其中的一个：...
2021-10-14 20:06:08
237
原创 Scala处理json格式数据
单个数据var li = List( "{\"name\":\"张三\",\"age\":30,\"addr\":\"北京\"}", "{\"name\":\"李四\",\"age\":30,\"addr\":\"北京\"}", "{\"name\":\"王五\", age:30,\"addr\":\"北京\"}", "{\"name\":\"赵六\",\"age\":30,\"addr\":\"北京\"", "{\"name\":\"田七\
2021-07-26 19:49:18
1721
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人