qq_34969081的博客

背景对于rest-ful API文档设计，一般都是springfox（底层是swagger）进行代码集成并且自动生成，文档分为在线和离线文档，在线文档一般是html的格式，并且能够进行mock，方便测试人员不用写test-case进行测试。springfox reference 提示已经不支持离线文档的自动生成，推荐使用使用swagger2markup+assicdoctor.以下介绍怎样...

背景： 基于流的结构化处理，越来越成为ETL的重要处理手段，使用SQL处理流数据优点可以降低数据处理的编程难度，而且能够工程化的动态配置处理格式。基于struct_streaming处理pv的简单案例数据源：kafka的topic input_std1_npanther中 输入格式：json{ "event_siteid":"kf_3004", "event_...

最近启动容器的时候，忘记启用port接口。然后想在这个容器上直接修改映射端口。发现没有途径。 然后参考了以下stackoverflow 成功修改。

在mac上安装有以下两种方式： 1. docker官网提供的docker for mac的dmg,按照步骤流程一步一步的进行。 2. 通过brew自定义安装，不是傻瓜式的，下面详细介绍。一、 安装docker 和docker-machine 如果没有安装brew,请依照brew官网进行自行安装。brew install dockerbrew install docker-ma...

jump跳转到的地方在需要点击跳转的位置，使用上面的id，格式类似超链接的形式： 点击跳转

how to correctly write readme

背景因成本影响，公司想从高价格的阿里云转到价格较低的金山云上，让我们做一下对金山云上自带的spark_on_yarn 进行压力测试。经过多方讨论，最终选择sparkbench+ambari的方案。方案将采用梯度测试法，对集群的磁盘I/0,网络I/O,内存使用率，cpu使用率四个纬度测试。 1.10亿条24个属性kmeans的向量数据创建、数据分析。 2.24亿条24个属性kme...

星形模型和雪花模型模型分为星形模型和雪花模型，模型内部包含事实表和纬度表事实表：表示一个事实，例如按照州、产品和月份划分的销售量和销售额存储的事实表。一个事实表是由键值例和度量值组成，键值例对应着纬度表的主键。 product state date doller number Mountain-100 WA January 7....

闭包： def test1(x:Integer)=(y:Integer)=>{x+y} (x: Integer)Integer => Int test1(1) res1:Integer => Int = $$Lambda$1158/2016512706@77ce88c4等价于def test(x:Integer)(y:Integer):Integer={ ...

为了使用jshell工具，便在oracle官网下载了jdk9,但是 scala-2.12.4,还不支持jdk9,所以运行时候会报错。为了解决这个问题，想使用多版本切换。知识点：mac的os系统 是unix的变种，所以一些基础命令和linux是相同了，而使用jdk，只是java_home的环境变量不同而已，当然你也可以不设置环境变量，那么你使用jdk时候，就需要使用绝对路径。你临时设置可以使...

最近写spark代码的时候总是把rdd转dataset或者dataframe,再此将转换的途径总结一下rdd转dataset第一种，使用隐式函数toDFimport spark.implicits._ //spark是你实例化的sparksession,rdd1.toDF()/或者 toDF("a","b","c") //a b c分别表示列名note: 如果...

修改本项目的用户名字和邮箱$ git config user.name '{user.name}'$ git config user.mail '{user.mail}'修改全局用户名字和邮箱$ git config --global user.name '{user.name}'git config --global user.mail '{user.mail}' 修改已...

运行环境spark-shellval p=spark.read.json("file:///root/spark-2.1.1-bin-hadoop2.7/examples/src/main/resources/people.json")p.show方差和标准差 1. 求age平均值import spark.sqlval avgvule= sql("select avg(...

进行从store.docker.com拉取大的镜像特别慢，而且还时常断掉。所以准备还是用国内的仓库。 国内的仓库如下：Docker 官方中国区https://registry.docker-cn.com网易http://hub-mirror.c.163.comustchttps://docker.mirrors.ustc.edu.cn经测试网易是最快。下面是配置dock

获取虚拟机使用openstack-web操作界面，创建虚拟机。version: ubuntu 16.04memory:8gvcpu:4 core安装docker 详见docker安装文档安装私人仓库 仓库文档公共仓库：store.docker.com docker pull registry:2docker run -d -p 5000:5000 {docker-nam

被测试类： public ResponseEntity save(@RequestBody DataSink ds,@RequestParam("file") MultipartFile file){@RequestBody表示body的数据。 @RequestParam("file") 表示你上传的文件已经文件名字。测试类mvc.perform(MockMvcReq

cell定义：A {row, column, version} tuple exactly specifies a cell除了rowkey,column family,column quarifities,timestamp,还有就是versions(版本).versions概念：It’s possible to have an unbounded number of cel

1. rowkey 和hotspot关系。1.1 regionRegions are the basic element of availability and distribution for tables, and are comprised of a Store per Column Family.region 是一个表的基本元素，具有可用性和分布性，是由每个列簇

hive架构的官方文档直接上架构图这张图很明显显示hive存在5个组件ui、driver、compiler、metrastore、ExecutionEngine。具体活动流程也比较清楚，一共9步。 这里主要以下两点： metastore(元数据)Metastore is an object store with a database or file backed store

1、从官方文档了解。 spring-cloudSpring Cloud provides tools for developers to quickly build some of the common patterns in distributed systems (e.g. configuration management, service discovery, circuit brea