oracle8090的博客

原创 flink TskManger与Slots

Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的sub

原创 flink 任务提交流程

standalone模式App提交应用给Dispatcher,Dispatcher接受到这个任务后，启动并提交应用JobManager,(一个job就会对应一个jobManager进行管理),jobManager对当前的应用进行分析，解析成一个执行图,可以解析出当前的job有多少个任务,就可以知道有多少个slot来运行，向resourceManager请求,resouceManager启动对应的taskManager,taskManager将自己的slots向ResourceManger进行.

转载 hive时间函数

1.日期函数UNIX时间戳转日期函数:from_unixtime语法:from_unixtime(bigint unixtime[, stringformat])返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308943,'yyyyMMdd') from dual;201112082.获取当前UNIX时间戳函数:unix_tim...

原创 hive orc 和 parquet简单对比

Impala推荐使用parquet格式，不支持ORC,Rcfile - Hive 0.x版本推荐使用rcfile - PrestoDB推荐使用ORC - Spark支持ORC,Parquet,Rcfile Parquet与ORC对比orc.compress:表示ORC文件的压缩类型，「可选的类型有NONE、ZLB和SNAPPY，默认值是ZLIB（Snappy不支持切片）parquet. compression:默认值为 UNCOMPRESSED，表示页的..

转载 数据仓库常用的建模方法对比

ER模型 数据仓库之父Bill Inmon提出的建模方法是从全企业的高度设计一个3NF的模型,用实体关系（Entity Relationship,ER）模型描述企业业务，在范式理论上 符合3NF。数据仓库中的3NF与OLTP系统中的3NF的区别在于,它是站在企业角度面向主题的抽象，而不是针对某个业务流程的实体对象关系的抽象。其具体的特点如下： 1.需求全面了解企业业务的数据。 2.实施周期非常长。 3.对建模人员的能力要求非常高。 采用...

原创 react路由二级嵌套

创建people 父页面分别在 Nav 和 App中引用import React from 'react'import Nav from '../Nav'import {Link} from 'react-router-dom'export default class People extends React.Component{ render(){ return( <div> <Nav/&g...

原创 react路由-属性2

请先查看第一篇https://blog.csdn.net/oracle8090/article/details/1123680601.实现使用按钮跳转路由this.props.history.push("/cart")this.props.history.replace("/cart")push和replace的区别：push添加，replace是替换页面，主要体现，是否可以回退在原有项目的基础上增加Cart 页面import React from...

原创 react路由 -简单实现

项目结构：Details 和 List的路由及页面内容有接受参数的方式,在文章最后都有展示1.安装依赖 npminstall--savereact-router-dom2.Link跳转 Nav/index.jsx 导航高亮的处理点击菜单显示高亮：activeStyle={{color:'red'}}activeClassName="active"import React from 'react'import { NavLink } fr...

原创 Hbase 优化

1.查询优化1.设置Scan缓存设置查询缓存，定义一次交互从服务器端传输到客户端的行数，有效减少服务器端和客户端的交互scanner.setCaching(1000)2.在查询的时候显示指定列在定义查询的时候，指定某列，或者几列，能有效的减少网络传输量，在一定程度上提升查询性能scanner.addColumn(Bytes.toBytes(family),Bytes.toBytes(column))3.禁用块缓存scan扫描全表的时候会使用块缓存，Mapreduce读取全表.

转载 order by sort by cluster by 区别

文章转自https://blog.csdn.net/yangbosos/article/details/889906411. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的...

转载 Hive数据倾斜的原因及主要解决方法

转载自https://www.cnblogs.com/sx66/p/12039563.html数据倾斜产生的原因数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类Hive倾斜之group by聚合倾斜原因： 分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久； 对一些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进行group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数.

原创 简单封装前端请求工具类

目录结构1.http.js 访问接口模块,用来封装请求方法import qs from "querystring"export function httpGet(url){ const result= fetch(url); return result}export function httpPost(url,data){ const result = fetch(url,{ method:"post", headers: {

转载 react 中的生命周期

转载自:https://blog.csdn.net/ElinaVampire/article/details/51813677React Native中的component跟Android中的activity，fragment等一样，存在生命周期，下面先给出component的生命周期图getDefaultPropsobject getDefaultProps()执行过一次后，被创建的类会有缓存，映射的值会存在this.props,前提是这个prop不是父组件指定的这个方法在对象被创建

原创 使用vue的一些个小案例

1.动态修改表格中的某个码值<el-table-columnalign="center"prop="applicationState"label="任务状态"class="table-width"><templateslot-scope="scope"><spanv-if="scope.row.applicationState==0">启动成功</span>&l...

转载 vue编辑、新增弹框（引用外部页面）

转自https://blog.csdn.net/qq_29384639/article/details/807008821、准备两个页面一个是表格页面，一个是表单页面2、表格页面中配置编辑按钮：引入表单页面：编辑按钮出发方法：3、表单弹出页面页面内容必须加上el-dialog标签，否则不是弹出层默认设置页面为影藏状态：初始化方法，this.$nextTick()中可添加自己的逻辑代码：...

原创 nginx第一讲-初识nginx

Nginx(engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。主要用途是反向代理和负载均衡代理介绍:正向代理是客户端主动找到一个代理服务器,正向代理代理的是客户端，反向代理是访问一个网站，这个网站不是真正的应用服务器,代理服务器代理到了应用服务器正向代理: 我们常说的代理也就是只正向代理，正向代理的过程，它隐藏了真实的请求客户端，服务端不知道真实的客户端是谁，客户端请求的服务都被代理服务器代替来请求. ...

原创 React 路由

## 路由参考地址：https://reacttraining.com/react-router/web/guides/quick-start1.安装 路由 npm install react-router-dom --save2.BrowserRouter和HashRouter区别 1.表现形式不同：BrowserRouter：/ HashRouter：/#/ 指的是具体浏览器访问 是 xxxx/login 还是 xxxx/#/login 2.打包发布的时候，...

原创 Davinci源码-前后端分离以及后端项目启动

Davinci源码部署—后端代码本地部署https://blog.csdn.net/oracle8090/article/details/106329764Davinci源码部署—前端代码本地部署https://blog.csdn.net/oracle8090/article/details/106332468注意:这里的ip 和 目录都是虚拟的,笔者用的是家里的电脑,没有开发环境以及项目 所以部分截图也是直接从git上截取的,但是流程都是亲自验证过的一、简单流程...

原创 VUE_03_样式绑定和v-for的简单介绍

目录<:class><:style> for循环使用 普通数组对象数组循环对象迭代数字v-for 中key属性的使用<:class><!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-wid...

原创 VUE_02_基础代码

<!-- v-model指令 --><!-- 简易的计算器 --><!-- v-model指令 --><!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <me.

原创 VUE_01_基础代码

<!-- 1. 如何定义一个基本的Vue代码结构 --><!-- 2. 插值表达式 和 v-text --><!-- 3. v-cloak --><!-- 4. v-html --><!-- 5. v-bind Vue提供的属性绑定机制 缩写是 : --><!-- 6. v-on Vue提供的事件绑定机制 缩写是 @ --> 01.hello_world<!DOCTYPE html...

原创 Error: command failed: c: \WINDOWS\system32\cmd.exe /s /c autoreconf -ivf

Error:command failed:c:/WINDOWS\system32\cmd.exe /s /c "autoreconf -ivf"最后本人的解决方案是换成用 cnmp install 命令执行 成功，运行用 cnpm start

原创 WebPack第五讲------React环境构建

上一篇:WebPack第四讲------Loaders (ES6转ES5)https://blog.csdn.net/oracle8090/article/details/1063935581.安装：npm install --save-dev @babel/preset-reactnpm install --save react react-dom2.修改.babelrc配置文件3.修改配置文件webpack.config.jsReact的后缀名可以是js也可以是j...

原创 通过jdbc获取查询sql的别名 和 值

private static String driverName = "com.mysql.jdbc.Driver"; private static String url = "jdbc:mysql://localhost:3307/test?useUnicode=true&characterEncoding=UTF-8"; private static String user = "root"; private static String password...

原创 jdbc查询sql时,获取查询sql的别名乱码

Connection conn = driver.connect(url, info); Statement statement = conn.createStatement(); ResultSet re = statement.executeQuery("select id as `主键`,user_name as `名字` from user"); ResultSetMetaData metaData...

原创 IDEA error：Let definitions are not supported by current javascript

原创 WebPack第四讲------Loaders (ES6转ES5)

上一篇:WebPack第三讲------服务器配置https://blog.csdn.net/oracle8090/article/details/106388780ES6转ES5其实用的是babel的规范babel参考地址:中文https://www.babeljs.cn/docs/configuration英文https://babeljs.io/setup#installation一、安装在项目根目录执行cnpm install --save-dev babe...

原创 WebPack第三讲------服务器配置 

上一篇:WebPack第二讲------基本配置https://blog.csdn.net/oracle8090/article/details/106387046目录一.全局安装 npm install -g webpack-dev-server二.项目依赖安装 在项目根目录执行三.运行webpack服务器四.访问地址五.快捷执行方案六.关闭刚刚运行的服务器 重新执行命令七.修改服务器配置方式一、修改配置文件方式1.修改访问的根目录2.更改端口方...

原创 WebPack第二讲------基本配置

上一篇：WebPack第一讲------初始化一、编写简单模块化代码1.在src下创建hello.js文件,编写代码module.exports = function(){ var divs = document.createElement("div"); divs.textContent = "文本信息"; // innerHTMl return divs;}2. 在app.js中引用hello.jsvar hello =require("./he

原创 ERROR in Entry module not found Error Can t resolve

ERROR in Entry module not found: Error: Can't resolve './src' in 'F:\demo\webpack'出现这个问题可能会是两个情况 、1.没有在项目的根目录创建 src目录2.查看webpack.config.js是否是在根目录本人的原因是把webpack.config.js放到了src下导致的...

原创 WebPack第一讲------初始化

目录概念Webpack:构建工具安装 创建项目 1. 创建项目 2.安装项目依赖 3.项目根目录创建两个文件夹src和dist 4.编写代码 5.在项目根目录创建webpack.config.js 6.前端展示概念 本质上，webpack是一个现代 JavaScript 应用程序的静态模块打包器(module bundler)。当 webpac...

原创 Davinci源码部署—前端代码本地部署

Davinci源码地址：https://github.com/edp963/davinci本人环境:davinci 0.3node v10.15.3npm 6.4.1idea 2018.3jdk 1.8.0_192maven 3.6.1mysql 5.7前端项目的根目录为:一、安装程序包及其依赖的所有程序包npm install二、运行npm start注意:npm install的时候可能会报错百度搜解决方案的时候有以下几种:1.删除环境变...

原创 Davinci源码部署—后端代码本地部署

Davinci源码地址：https://github.com/edp963/davinci本人环境:davinci 0.3node v10.15.3npm 6.4.1idea 2018.3jdk 1.8.0_192maven 3.6.1mysql 5.7一、创建数据库数据库的名称对应代码中配置的数据库数据库初始化脚本:数据库要安装5.5+版本,脚本中的语法在5.5以下版本无法识别二、将代码再idea中打开 省略三、配置jdk meaven 省略四、.

原创 IDEA配置xml文件头报错 URI is not registered (Settings | Languages & Frameworks | Schemas and DTDs)

URI is not registered (Settings | Languages & Frameworks | Schemas and DTDs)

转载 POI 设置单元格背景色，背景色编码与实际颜色对照表(SXSSFWorkbook4.1.2)

style = workbook.createCellStyle();style.setFillForegroundColor(IndexedColors.AUTOMATIC.getIndex());style.setFillPattern(CellStyle.SOLID_FOREGROUND);HSSFCellStyle style = workbook.createCellStyle();style.setFillBackgroundColor(HSSFColor.AQUA.ind.

原创 SXSSFWorkbook poi导出技术的简单使用

SXSSFWorkbook wb = new SXSSFWorkbook(); Sheet sh = wb.createSheet(); int rowNum = 0; XSSFDataFormat df = (XSSFDataFormat) wb.createDataFormat(); Row row = sh.createRow(rowNum++); Cell cell = row.createCell(1); cell.set...

原创 通过jdbc获取字段信息

private static String driverName = "com.mysql.jdbc.Driver"; private static String url = "jjdbc:mysql://localhost:3306/"; private static String user = "root"; private static String password = "root"; Driver driver = DriverManager.getDr...

原创 2.基于vue+element_ui 构建新项目——项目初始化

一、我们通过vue ui 页面创业vue

原创 1.基于vue+element_ui 构建新项目——前期准备工作

一、安装Note.js省略二、设置nodejs prefix（全局）和cache（缓存）路径1、在nodejs安装路径下，新建node_global和node_cache两个文件夹2、设置缓存文件夹npm config set cache "D:\vueProject\nodejs\node_cache"　设置全局模块存放路径npm config set prefi...

原创 git 基本命令

切换分支# 1.查看所有分支> git branch -a# 2.查看当前使用分支(结果列表中前面标*号的表示当前使用分支)> git branch# 3.切换分支> git checkout 分支名从远程拉取新分支git fetch origin f_metadata_auto...