weixin_44765495的博客

近3年、近1年、近6月、近3月、近1月。：去年、本年、上月、本月、上周、本周。

Spark写Excel报FormulaParseException The specified formula '=' starts

Windows11 Scala运行环境报错

Sublime 使用Package Control 安装SQL Beautifier

https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

问题描述Unable to establish connection. Could not initialize class org.apache.hadoop.hbase.util.ClassSize.IDEA配置Driver连接Phoenix报如上错误，总结下来是IDEA和VM的JDK版本不一致。解决方式配置完Driver后，更改JDK，由IDEA默认的JAVA11改为JAVA8，问题解决。...

select mid_id from dws_uv_detail_day where dt <= '2020-07-04' group by mid_id这是一张外部表，做查询时发现有过往元数据未清除，报了file hdfs:// 文件 does not exist.，找不到被删除的数据。解决方式drop table把元数据删了，然后又重新建了这张表，把数据同步到外部表就行了load data inpath '/warehouse/gmall/dws/d

直接Hive启动执行select语句无异常，但使用JDBC方式连接Hiveserver2报如下错误0: jdbc:hive2://hadoop102:10000> select * from ods_start_log limit 10;Error: java.io.IOException: java.io.IOException: No LZO codec found, cannot run. (state=,code=0尝试方法： 首先将hadoop-lzo-0.4.20.jar 放入Ha

1.参数设置spark.streaming.kafka.maxRatePerPartition 控制spark streaming消费kafka速度spark.streaming.backpressure.enabled 打开背压消费速度是动态浮动的，上限由spark.streaming.kafka.maxRatePerPartition决定spark.streaming.stopGrac...

1、joinSELECT pv.pageid, u.ageFROM page_view pv JOIN user u ON pv.userid = u.userid ;实现过程：1）Map：以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合以 JOIN 之后所关心的列作为Value，当有多个列时，Value 是这些列的组合。在 Value ...

1. 背景为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割，显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。2. 分层规范ODS（原始数据层）：ODS层是数据仓库准备区，为DWD层提供基础原...

当遇到依赖冲突时应该如何快速排除冲突，希望小伙伴们能赐教

OdS层向DWD导数据利用UDF、UDTF函数将单列数据细分编写主类packagehive中创建函数insert overwrite导入数据

错误: 找不到或无法加载主类本方法不用删除.idea文件解决方法：1.清除缓存/重启2.重新构建项目3.Maven-install编译一下简单粗暴，行之有效。

java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/102. This probably indicates that you either have configured a brokerid that is already in use, or else you have shu...

问题描述系统更新（KB4517389）过后VMWare无法正常启动解决方式一 更新

修改主机名映射IP地址必须映射主机名vim /etc/host关闭系统防火墙查看防火墙状态service iptables status永久关闭防火墙chkconfig iptables off临时关闭防火墙service iptables stop配置：hadoop-env.sh将JAVA_HOME写成绝对路径export JAVA_HOME=/opt/module/jd...