weixin_42529806的博客

一 准备工作1 参考文档：第二种 《使用 TiUP cluster 在单机上模拟生产环境部署步骤》https://docs.pingcap.com/zh/tidb/stable/quick-start-with-tidb2 单机配置：4核心8G内存3 服务器系统版本要求：CentOS 7.3及以上[root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core)4 环境初始化[roo.

1 Kylin4.01 新架构https://cwiki.apache.org/confluence/display/KYLIN/Architecture+of+Kylin+4.X2 新特性Parquet Storage：使用parquet来存储cubeid（移除了hbase作为存储） Spark Build Engine：使用spark来构建cubeid（移除了mr） RDBMS Metastore：使用RDBMS来存储metastore ...https://cwiki.ap

pip的使用踩坑1 下载慢，导致超时：ReadTimeOut报错：pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool2 原因：下载很多包需要从国外下，被qiang了，所以慢，然后超时3 解决办法临时解决pip install -i https://mirrors.aliyun.com/pypi/simple/ pandas #指定下载网站永久解决1 linux#创建...

hive注册udf函数1 maven项目pow文件 <properties> <hive.version>2.1.1-cdh6.1.0</hive.version> </properties> <dependencies> <dependency> <groupId>org.apache.hive</groupId&.

Cloudera Manager API使用前言1. 需求：如何获取CDH集群的资源使用情况，包括cpu、磁盘、内存2. 实现：调用CDH提供的Cloudera Manager API包，来实时访问CDH上的各种监控指标数据，如下图接口介绍1 获取集群信息2 获取主机信息3 获取服务信息4 获取指标时序数据信息5 详细信息看：官网文档，使用实例demo：后面- cloudera官网文档：https://docs.cloudera.com/do...

一 卸载老版本1 卸载及删除安装文件# 查看clickhouse的yum源yum list installed | grep clickhouse# 移除clickhouse yumyum remove -y clickhouse-common-staticyum remove -y clickhouse-server-common# 移除相关目录rm -rf /var/lib/clickhouserm -rf /etc/clickhouse-*rm -rf /var/log/cl

一、Docker简介1 简介Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口2 虚拟机和Docker的区别参考文章：https://www.cnblogs.com/kex1n/p/6933039.html3 Docker的概念镜像(Image)：类似于虚拟机的镜像，可以将他理解为一个面向Docker引擎的只读模板，包含了文件系.

1、哈希算法是什么？哈希算法又叫散列算法，是将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。它的原理其实很简单，就是把一段交易信息转换成一个固定长度的字符串。这串字符串具有一些特点：1.信息相同，字符串也相同。2.信息相似不会影响字符串相同。3.可以生成无数的信息，但是字符串的种类是一定的，所以是不可逆的。让我们举个例子理解一下：如果我们要搜一张图片，在没有人工标注的情况下，于巨大的图库中想要以图搜图是一件及其庞大而又困难的工作量。可是在训练集上，通过..

cdh客户端部署1. 服务器准备linux服务器CentOS72. 安装jdk1.8基本操作，这儿就不做介绍了3. 下载CDH的parcels包下载版本（这儿展示CDH6.1.0的，其他版本操作也一样的） cdh6.1.0 parcels下载地址,这儿建议挂代理下，否则可能有点慢，差不多1.9G4. 上传parcels包到CentOS7服务器上mkdir -p /opt/cloudera/parcelscd /opt/cloudera/parcelsrz 上传刚才.

Hive实现自增列的两种方法背景说明1.多维数据仓库中的维度表和事实表一般都需要有一个代理键，作为这些表的主键，代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列，但它也有一些对自增序列的支持，通常有两种方法生成代理键：使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数（UDF）。需求1. 假设有维度表tbl_dim和过渡表tbl_stg，现在要将tbl_stg的数据装载到tbl_dim，装载的同时生成维度表的代理键。实现.

windows下统一换行符背景 1. 系统说明-换行符：windows上换行符是CRLF；linux或者Mac OS上是LF 2. 统一为LF的原因： 1）由于我们最后的代码都是要部署到linux的，所以就统一设置成LF 2）不设置为LF的话，会导致windows下的某些shell脚本，放到linux上执行不了设置 1. git设置 1）git config --global core.eol lf #统一换行符为 lf...

Azkaban安装部署教程源码编译下载源码git clone https://github.com/azkaban/azkaban.git#ps 如果github下载慢的话可以去码云上面下载码云地址：https://gitee.com/mirrors/azkaban?_from=gitee_searchgit clone https://gitee.com/mirrors/azkaban.git选择分支，编译成tar包git tag #查看所有taggit checkou

linux下mysql的安装安装前准备1.系统：CentOS72.准备工作1）检查是否已经安装过mysql，执行命令 rpm -qa | grep mysql #检查是否已经安装过mysql rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_64 #如果上述命令查出有历史版本，则删除该版本(查出来的版本)；没查出则不用管 rpm -qa | grep mysql #再次查看删除成功没2）查询所有Mysql对应的文件夹where..

DataX3.0离线同步工具介绍目录DataX3.0离线同步工具介绍一. DataX3.0概览设计理念当前使用现状二、DataX3.0框架设计三. DataX3.0插件体系四、DataX3.0核心架构核心模块介绍：DataX调度流程：五、DataX 3.0六大核心优势可靠的数据质量监控丰富的数据转换功能精准的速度控制强劲的同步性能健壮...

一、什么是Nacos英文全称Dynamic Naming and Configuration Service，Na为naming/nameServer即注册中心,co为configuration即注册中心，service是指该注册/配置中心都是以服务为核心。服务在nacos是一等公民二、Nacos原理nacos简单介绍Nacos注册中心分为server与client，se...

文章目录Python将Excel数据自动填写到Word需求实现py文件打包成exe程序Python将Excel数据自动填写到Word需求需求：批量制作劳动合同表，要从excel表格中将每个人的数据导入到docx劳动合同中，重复量很大，因此可以使用python高效解决渲染：为了让模板内容不变动，这里使用了类似jinja2的渲染引擎，使用{{ }}插值表达式把数据插入进去。也可以使用{% %...

draw.io 是一个强大简洁的在线的绘图网站，支持流程图，UML图，架构图，原型图等图标。支持Github，Google Drive, One drive等网盘同步，并且永久免费。如果觉得使用Web版不方便，draw.io 也提供了多平台的离线桌面版可供下载。在线版：https://www.draw.io/PC电脑版：http://t.cn/Aid48ecf第一次使用，可以点击“la...

文章目录Spark写入ES优化Spark写入ES方案写入性能优化案例Spark写入ES优化Spark写入ES方案1.写入demo，详情看官网- Elasticsearch for Apache Hadoop写入性能优化给filesystem cache更多的内存filesystem cache被用来执行更多的IO操作，如果我们能给filesystemcache更多的内存资源，那么...

java.io.IOException: No FileSystem for scheme: hdfs在这篇文章中，介绍了如何将Maven依赖的包一起打包进jar包。使用maven-assembly打成jar后，将这个jar提供给其他工程引用的时候，报出如下错误：log4j:WARN No appenders could be found for logger (org.apa...

关于LSM树LSM树，即日志结构合并树(Log-Structured Merge-Tree)。其实它并不属于一个具体的数据结构，它更多是一种数据结构的设计思想。大多NoSQL数据库核心思想都是基于LSM来做的，只是具体的实现不同。所以本来不打算列入该系列，但是有朋友留言了好几次让我讲LSM树，那么就说一下LSM树。LSM树诞生背景传统关系型数据库使用btree或一些变体作为存储结构，能...