专栏02-大数据与数据分析
文章平均质量分 54
大数据相关总结
November丶Chopin
记录工作&学习
展开
-
Hadoop fs命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。Hadoop中volume指的是什么?原创 2023-03-18 22:41:53 · 585 阅读 · 0 评论 -
SQL CRUD(阿里ODPS版)
ODPS中的SQL操作原创 2023-03-17 11:34:02 · 1230 阅读 · 0 评论 -
Hive查询中的优化
hive使用group by代替distinct去重原创 2023-02-26 17:30:27 · 490 阅读 · 0 评论 -
Hadoop上传和下载大存储的HIVE表
目录1. 上传CSV并转换为HIVE2. 下载和读取2.1 下载HIVE表为ORC2.2 pandas读取ORC1. 上传CSV并转换为HIVE# 1. 将pandas df保存为csv文件df.to_csv("wrs_df.csv")# 2. 将csv上传到hive(查看地址:http://dpp.ops.ctripcorp.com/#/hive/file/file_browser)import osfile_path="wrs_df.csv"hdfs_path="hdfs://ns/us原创 2021-10-29 17:52:19 · 1223 阅读 · 0 评论