- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spark写Excel报FormulaParseException The specified formula ‘=‘ starts
Spark写Excel报FormulaParseException The specified formula '=' starts
2022-09-14 17:50:48
1021
1
原创 Scala运行环境报错 NoClassDefFoundError: Could not initialize class org.fusesource.jansi.internal.Kernel32
Windows11 Scala运行环境报错
2022-04-24 16:36:58
731
原创 Sublime SQL Beautifier 安装及更改快捷键
Sublime 使用Package Control 安装SQL Beautifier
2022-03-21 17:27:40
3544
1
原创 Oracle旧版本JDK下载入口
https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html
2020-08-05 10:31:54
419
原创 IDEA JDBC Phoenix Could not initialize class org.apache.hadoop.hbase.util.ClassSize.
问题描述Unable to establish connection. Could not initialize class org.apache.hadoop.hbase.util.ClassSize.IDEA配置Driver连接Phoenix报如上错误，总结下来是IDEA和VM的JDK版本不一致。解决方式配置完Driver后，更改JDK，由IDEA默认的JAVA11改为JAVA8，问题解决。...
2020-07-14 02:06:35
2208
原创 file hdfs:// does not exist.
select mid_id from dws_uv_detail_day where dt <= '2020-07-04' group by mid_id这是一张外部表，做查询时发现有过往元数据未清除，报了file hdfs:// 文件 does not exist.，找不到被删除的数据。解决方式drop table把元数据删了，然后又重新建了这张表，把数据同步到外部表就行了load data inpath '/warehouse/gmall/dws/d
2020-07-06 17:20:46
2986
原创 No LZO codec found, cannot run.
直接Hive启动执行select语句无异常，但使用JDBC方式连接Hiveserver2报如下错误0: jdbc:hive2://hadoop102:10000> select * from ods_start_log limit 10;Error: java.io.IOException: java.io.IOException: No LZO codec found, cannot run. (state=,code=0尝试方法： 首先将hadoop-lzo-0.4.20.jar 放入Ha
2020-07-05 01:39:05
912
5
原创 Spark项目实战经验
1.参数设置spark.streaming.kafka.maxRatePerPartition 控制spark streaming消费kafka速度spark.streaming.backpressure.enabled 打开背压消费速度是动态浮动的，上限由spark.streaming.kafka.maxRatePerPartition决定spark.streaming.stopGrac...
2020-03-07 00:19:37
874
原创 常见Hive SQL操作的执行过程
1、joinSELECT pv.pageid, u.ageFROM page_view pv JOIN user u ON pv.userid = u.userid ;实现过程：1）Map：以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合以 JOIN 之后所关心的列作为Value，当有多个列时，Value 是这些列的组合。在 Value ...
2020-02-21 17:52:31
160
原创 数据仓库开发规范
1. 背景为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割，显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。2. 分层规范ODS（原始数据层）：ODS层是数据仓库准备区，为DWD层提供基础原...
2020-02-21 17:38:49
974
原创 数据仓库Data Warehouse流程总结
OdS层向DWD导数据利用UDF、UDTF函数将单列数据细分编写主类packagehive中创建函数insert overwrite导入数据
2019-11-16 09:19:45
472
原创 Idea错误: 找不到或无法加载主类
错误: 找不到或无法加载主类本方法不用删除.idea文件解决方法：1.清除缓存/重启2.重新构建项目3.Maven-install编译一下简单粗暴，行之有效。
2019-11-16 09:07:00
1057
转载 kafka启动异常 A broker is already registered on the path /brokers/ids
java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/102. This probably indicates that you either have configured a brokerid that is already in use, or else you have shu...
2019-11-14 10:58:18
1926
原创 Hadoop伪分布式无法访问HDFS文件系统解决办法50070
修改主机名映射IP地址必须映射主机名vim /etc/host关闭系统防火墙查看防火墙状态service iptables status永久关闭防火墙chkconfig iptables off临时关闭防火墙service iptables stop配置：hadoop-env.sh将JAVA_HOME写成绝对路径export JAVA_HOME=/opt/module/jd...
2019-09-29 00:03:08
1431
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人