- 博客(5)
- 收藏
- 关注
原创 数据仓库ODS层23张表建模认识
1.订单表(增量及更新) drop table if exists ods_order_info; create external table ods_order_info( id string comment ‘订单号’, final_total_amount decimal(16,2) comment ‘订单金额’, order_status string comment ‘订单状态’, user_id string comment ‘用户id’, out_trade_no string comment
2020-12-29 20:37:05 1562
原创 idea查看源码常用快捷键
1.查看某个类;ctrl+N 2.查看接口或者类的子类ctrl+H或者F12 3.查看类中具体的某个方法ctrl+F
2020-12-26 14:00:28 1237
原创 hive如何在配置文件中修改分区的非严格模式
azkaban调度的时候显示没有设置非严格模式,原来是我修改的是错的配置文件,原先我以为是hive-site.xml,实际上是hive-default.xml 解决方法: 修改conf中的hive-default.xml.template: cp hive-default.xml.template hive-default.xml vi hive-default.xml 找到hive.exec.dynamic.partition.mode 将值:strict改为nonstrict,重启hive使之生效即可.
2020-12-18 14:42:19 343
原创 启动hive不成功namenode处于安全模式
启动hive出错,namenode is in safe mode. 1.一开始以为是装虚拟机的磁盘满了,所以把没有的东西删了,腾出空间。 2.然后执行hadoop dfsamin -safemode leave 问题解决了! 经验:装虚拟机的磁盘空间要够大100g,不然后续可能出现很多磁盘满的乱七八糟的问题。 ...
2020-12-12 09:34:34 1023
原创 自定义累加器实现wordcount
第一种写法: object Scala3_ACC { def main(args: Array[String]): Unit = { val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("acc") val sc = new SparkContext(sparkConf) val rdd= sc.makeRDD(List("spark hadoop", "scala", "ja
2020-12-03 11:24:09 268
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人