- 博客(11)
- 收藏
- 关注
RSS订阅原创 hive数仓开发之-数据表
建表在数仓里，数据表可以分为内部表和外部表。内部表和外部表的区别是内部表的数据存储是在当前用户所在的hdfs目录下，而外部表则不是。内部表和外部表内部表在hdfs上的常见文件存储格式有 textfile,orc,rc,pqrquet 等存储格式，每种格式的优劣这里先不做具体展开，项目上基于性能和存储考虑，一般选择orc 或者是parquet，o确切来说orc比parquet更省存储，性能差不多。如果是考虑后续更换计算引擎（比如说是spark，或者是impala） 那还是选用parquet 更适合一
2021-06-04 17:03:08
404
原创 一种用于大屏构建立体行政区划的技术方案
二话不说，首先上图看下效果。接下来讲讲实现思路。1、底图加载我用的是mapbox，矢量瓦片取自国内某一互联网公司，由于刚好是web 墨卡托投影，刚好可以加载上。2、花花绿绿的三维行政区划，我用的是deck.gl实现。使用PolygonLayer扩展图层，代码如下：这里重点是132行，普通多边形是2d平面的，需要扩展它，给它加上高度、颜色属性。图层扩展器BuildFilter可以找官网按照demo示例写，这要求你会写点webgl glsl代码，如下：基本思路就是这些，over。...
2021-05-25 14:33:36
611
原创 【JAVA】利用swagger快速导出JAVA服务API
利用swagger快速导出JAVA服务API新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入#引文相信很多人都遇到过，一遇到项目验收，就需要提供API文档，每次写完JAVA接口，最麻烦的就是接口文档，新的改变我们对M
2021-05-19 14:07:01
600
原创 docker常用命令
docker常用命令什么是docker？为什么要用docker？常用docker命令获得docker镜像方式一：使用jar包构建镜像方式二：从tar文件导入镜像如何获取这里的tar文件方式三：从远程仓库拉取镜像查看本地仓库的所有镜像启动docker容器查看docker容器查看docker日志进入容器内部从容器内部退出停止docker容器删除docker容器删除docker镜像什么是docker？docker是一种容器技术。说白了就是，把程序用容器包裹起来。在这个容器中，已经配置好了程序运行所需要的所有环
2021-05-19 14:04:45
146
原创 【JAVA】JDK8-Stream
最近重新回顾jdk8，除了lambda表达式这种有趣的写法外，其中非常重要的两个特性，一个stream，一个函数式编程，今天先来讲讲stream；一.前言之前玩jdk8，stream在打印中，我碰到了一个异常错误，如下：Exception in thread “main” java.lang.IllegalStateException: stream has already been operated upon or closed该异常抛出时的原代码是这样的，Stream stm = Stream
2021-05-19 14:03:03
227
1
原创 浅谈一下如何进行一次数据调研
数据调研的目的： 这是调研的核心，目的是搞清楚现场的环境，资源，以及想达成的效果（效果能不能达成，以现有的资源达成多少，以及实现这一过程的复杂程度、难度）调研的对象： 客户（甲方爸爸，项目的核心是为了解决甲方爸爸的需求，为甲方提供服务） 以及客户的其他开发商，或者需要甲方协调的其他部门、外部部门的资源方。调研的阶段 立项之前的需求沟通。调研的内容：1.客户这边的最原始需求是什么，比如说甲方要做一个搜索的系统，要实现1,2,3,4,5的功能...
2021-05-13 11:42:45
2198
原创 一张脑图带你掌握Git命令
一张脑图带你掌握Git命令前言我们在日常开发工作中离不开一系列各种git操作，本文会对常用的git命令进行一个总结梳理。首先上正菜：首先我们得了解Git通常的操作流程，网上流行的不错一张图????基本概念版本库????.git 当我们使用git管理文件时，比如git init时，这个时候，会多一个.git文件，我们把这个文件称之为版本库。 .git文件另外一个作用就是它在创建的时候，会自动创建master分支，并且将HEAD指针指向master分支。工作..
2021-05-13 09:36:35
165
1
原创 【JAVA基础知识】ConcurrentHashMap-变量篇
【JAVA基础知识】ConcurrentHashMap-变量篇前言：本文章依赖JDK版本为1.8.172源码解析：继承：-》 实现：》》ConcurrentHashMap-》AbstractMapConcurrentHashMap》》ConcurrentMap-》Map// 1<<30，代表table桶最大容量private static final int MAXIMUM_CAPACITY = 1073741824;// 1<<4，代表table桶初始默认容量
2021-04-08 18:08:10
198
原创 蚂蚁金服antv l7源码编译和运行
一、首先看看运行成功后的截图，我们发现跟官网是一摸一样二、编译步骤1、首先到github上拉源码，地址是：https://github.com/antvis/L7。如果访问github速度不理想，建议直接下载源码zip包。2、安装node_modules包。问题最多的就是这一步。我的电脑环境是win 10 64位操作系统，当时有一个错误很难处理， cnpm i 时“提示sharp安装失败”，如下图：原因是电脑缺少c++的编译环境。经实践以下几样东西是必须安装的Python, 我安装的是py
2021-03-31 17:17:06
2284
4
原创 数仓建设方法（1）
数据仓库建设方法1.明确业务需求，所有的数据仓库建设是基于业务需求设计的。 换言之，如果只是单纯的为了数仓建设了一堆的数据模型，业务无法使用的数仓是没价值的。数据仓库是为了业务服务。同时，在设计主题模型的时候，也要考虑到业务的一些扩展和通用特征。在此基础上确认数仓的层级结构，以及通过怎么样的方式给应用提供服务2.基于业务的需要，明确所需建设的主题以及所需的维度。 例如（人员档案、商品销售情况报表，财务报表......），在更多是一些对象（人、用户）的画像（人的行为、标签，基本信息.......）。
2021-03-29 16:07:49
399
原创 基于antd pro二次封装的组件库react-antd-super-form
基于antd pro二次封装的组件库react-antd-super-form该组件库是我们对antd pro进行二次封装的一个偏业务层面的一个React ui组件库。该组件库诞生的初衷？该组件库主要是为了提升中后台管理系统开发效率，将antd封装好的各个组件进行组合以达到页面高度配置化。后台管理系统需求接触多了之后我们会发现各个模块间的区别其实并不大，无非就是表格、表单、弹窗这些组件里面嵌套各个粒度更小的组件。所以我们就考虑一般组件封装都是将大的组件拆分成粒度更小的组件，那为什么
2021-03-10 18:21:33
1541
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人