大数据技术类
Kukafee
好好工作、好好生活、好好旅游。
展开
-
Hive 表
1. 建表drop table if exists {table_name};create table if not exists {table_name} ( {col_name_1} {col_type_1}, {col_name_2} {col_type_2}, {col_name_2} {col_type_3}, ... )row format delimited -- 设置分隔符设置开始原创 2021-12-21 11:02:39 · 303 阅读 · 0 评论 -
python 连接 hive 并读取数据
1. 连接hive类 DB_hiveclass DB_hive(object): def __init__(self, db, con_dict): """ 初始化说明 Args: db: hive中数据库名称 con_dict: hive链接信息字典 eg: {'host': '192.168.0.163', # 连.原创 2021-05-27 15:21:58 · 1929 阅读 · 0 评论 -
HiveSQL函数总结
数学函数保留几位小数(四舍五入) -- MySQL可用 select round(1.23456, 3) AS f; -- 取值为 1.235 向下取整 -- MySQL可用 SELECT FLOOR(1.234) AS I; -- 取值为1 求开方 -- MySQL可用 SELECT SQRT(9) AS s; -- 取值3.0 求模|求余数 -- MySQL不可用 SELECT pmod(10, 3) AS p; -...原创 2020-11-26 18:46:31 · 1082 阅读 · 0 评论 -
Hadoop运行环境搭建
关闭防火墙 工作中,共有云服务器,防火墙默认是关闭的 Ubuntu 查看防火墙状态 $sudo ufw status 显示 Status: inactive. 表示防火墙关闭 $ sudo ufw enable //启用防火墙 关闭防火墙 $sudo ufw disable // 关闭防火墙 ...原创 2020-11-26 16:13:15 · 94 阅读 · 0 评论 -
Hive 使用小结
Hive简介 安装Hive 使用Hive(相关内容可参考https://blog.csdn.net/albertfly/article/details/81286938) 打开(启动)Hive $ hvie 显示数据仓库 hive> show databases; # 启动hive之后,命令提示符变为...原创 2019-12-06 18:57:09 · 148 阅读 · 0 评论 -
hive 优化与设置
配置mapreduce.job.reduce.slowstart.completedmaps 参数 该参数默认为 0.05, 表示map执行 5%之后,开始reduce过程 如果集群资源不够,有可能导致reduce把资源全抢光,可以把这个参数调整到0.8,map完成80%后才开始reduce copy过程。 可以配置为如下: set mapreduce.job....原创 2020-09-18 18:34:16 · 337 阅读 · 0 评论