大数据专栏
文章平均质量分 62
小小北漂
专注于大数据开发、调优、运维和web、爬虫相关开发
展开
-
【二】hive存储格式实测
【一】基于Faker创建hive数据的相关测试_小小北漂-CSDN博客在之前的博客中基于faker库创建了测试文件,这里我们对该测试问题进行简单的测试。一、hdfs切分block首先将文件上传到hdfs上,打印文件在hdfs上的分布信息如下:root@ubdi-hdp101 python]# ls -l|grep data-rw-r--r-- 1 root root 698319658 Oct 22 09:36 data.txt[root@ubdi-hdp101 python]#[r原创 2021-12-02 17:08:18 · 613 阅读 · 0 评论 -
【一】基于Faker创建hive数据的相关测试
一、Faker库的使用介绍python中有个专门生成各种测试数据的库Faker,可以模拟生成各种字段的数据,并且支持多种语言中文,英文,日语,韩语等等。安装方式:pip3 install Faker该库本身也支持命令行的方式使用,具体示例如下,可以使用"faker -h"查看相关说明文档。[root@node-76 ~]# faker -r=5 -s=";" -l zh_CN name王玉兰;陈丹丹;李俊;赵建军;刘玉;为了更好的使用这个库,我自己也简单的编写了一个生原创 2021-10-22 09:31:18 · 519 阅读 · 0 评论