- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 通过Spark任务将数据写入ES报错——ES节点ip错误
报错如下org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed; tried [[10.162.7.17:9219, 10.162.7.18:9219, 10.162.7.16:921...
2020-02-28 10:53:26
1854
原创 自定义指定hive生成的文件数
在hiveSql中指定生成的文件个数用到的参数如下：SET mapred.reduce.tasks=1001;但是单独加此参数，文件数并不会变成1001，为什么呢？其实是hive默认在mapReduce结束时合并小文件所致，因此需要加入以下两个参数：set hive.merge.mapfiles=false;（默认为true）set hive.merge.mapredfil...
2020-02-24 17:00:38
3298
原创 Druid知识点及踩坑总结
1. Druid中的intervals参数 "spec" : { "ioConfig" : { "type" : "hadoop", "inputSpec" : { "type" : "granularity", "dataGranularity" : "DAY", "inputPath" : "/HDFS路径...
2020-02-20 19:50:01
1491
原创 数据库建模：关系建模和维度建模，三范式和事实表维度表
一、关系建模——三范式理论三范式是基于关系建模的术语，主要应用于OLTP，避免数据冗余，让每个数据只出现一次第一范式：属性不可切分，指一张表的所有属性不可再往下细分 非主属性对码，存在部分函数依赖码：假设k为表中的某个属性或属性组，当k确定的情况下，表中其余属性也都可以确定，那么k就被称为码，即候选码第二范式：非主属性对码，只存在完全函数依赖和...
2020-02-10 17:53:00
3149
1ARCGIS工具条-启动窗口及主界面的构成
2020-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人