基于阿里云ECS服务器的大数据开发草记
云服务器和虚拟机总是有些区别的,记录一下各种奇葩问题。
Mr.Persimmon
凡事有交代,件件有着落,事事有回应,做一个靠谱的技术人
展开
-
Hive分层数仓的处理
Hive分层数仓的处理(代码层面)分层处理五层分层设计ODSDWDDWSDWTADSODS层1、创建支持LZO压缩的分区表2、数据加载3、脚本语句DWD层1、建表 drop table if exists dwd_xxx create external table dwd_xxx( `表字段` 字段类型 COMMENT '字段注释' ) COMMENT '表注释' partitioned by (dt string) --按照时间创建分区 stored as pa原创 2021-06-01 19:44:55 · 769 阅读 · 0 评论 -
在HIVE中对JSON进行解析
在HIVE中对JSON进行解析get_json_object[{"name":"dxd","age","21"},{"name":"ddd","age":"22"}]1、取出第一个JSON对象;Using: get_json_object('[{"name":"dxd","age","21"},{"name":"ddd","age":"22"}]','$[0]')Result: {"name":"dxd","age","21"}2、取出第一个JSON的name字段的值;Using: get原创 2021-05-28 17:56:32 · 336 阅读 · 0 评论 -
HiveSQL
HiveSQL1、创建支持LZO压缩的分区表create external table 表名称( `字段名称` 字段类型)partitioned BY(`dt` string) --按照时间创建分区row format delimited fields terminated by '\t' --指定分隔符为\tstored AS --指定存储方式,读数据采用LZOTextINputFormat,用于支持lzo压缩 inputformat 'com.hadoop.mapred.Deprecat原创 2021-05-28 17:42:11 · 103 阅读 · 0 评论 -
vim定位到某行,显示行数
:n 到n行:se nu 显示行数原创 2021-02-25 11:25:48 · 490 阅读 · 0 评论 -
Linux安装MySQL报错 Failed dependencies: libaio.so.1()(64bit)
sudo yum install libaio.原创 2021-02-01 16:12:42 · 625 阅读 · 0 评论 -
执行superset db upgrade时,报错ModuleNotFoundError: No module named ‘dataclasses‘.
执行命令:pip install dataclasses.原创 2021-01-27 16:19:02 · 2760 阅读 · 2 评论 -
Vi E212: can‘t open file for writing
出现该问题的原因之一是用户权限不足,可以使用sudo命令,或者将该文件夹的权限赋予该用户。例如:sudo chown dxd:dxd /home/dxd/bin.原创 2021-01-26 22:37:04 · 188 阅读 · 0 评论