- 博客(5)
- 收藏
- 关注
RSS订阅原创 数据仓库ODS层23张表建模认识
1.订单表(增量及更新)drop table if exists ods_order_info;create external table ods_order_info(id string comment ‘订单号’,final_total_amount decimal(16,2) comment ‘订单金额’,order_status string comment ‘订单状态’,user_id string comment ‘用户id’,out_trade_no string comment
2020-12-29 20:37:05
1492
原创 hive如何在配置文件中修改分区的非严格模式
azkaban调度的时候显示没有设置非严格模式，原来是我修改的是错的配置文件,原先我以为是hive-site.xml,实际上是hive-default.xml解决方法：修改conf中的hive-default.xml.template:cp hive-default.xml.template hive-default.xmlvi hive-default.xml找到hive.exec.dynamic.partition.mode 将值:strict改为nonstrict,重启hive使之生效即可.
2020-12-18 14:42:19
311
原创 启动hive不成功namenode处于安全模式
启动hive出错，namenode is in safe mode.1.一开始以为是装虚拟机的磁盘满了，所以把没有的东西删了，腾出空间。2.然后执行hadoop dfsamin -safemode leave问题解决了!经验：装虚拟机的磁盘空间要够大100g，不然后续可能出现很多磁盘满的乱七八糟的问题。...
2020-12-12 09:34:34
995
原创 自定义累加器实现wordcount
第一种写法:object Scala3_ACC { def main(args: Array[String]): Unit = { val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("acc") val sc = new SparkContext(sparkConf) val rdd= sc.makeRDD(List("spark hadoop", "scala", "ja
2020-12-03 11:24:09
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人