- 博客(48)
- 资源 (2)
- 收藏
- 关注
原创 基于postgresl的gaussDB(DWS)地址省市区解析函数
国内省市区的地址解析函数。postgesql, 华为gauss DB(DWS)instr() + substr截取字符串
2023-07-28 15:22:59 5478
原创 git本地库和远程库的相关操作命令
git本地分支和远程分支的增删改查本地分支和远程分支的关联建立git branch -vv, git branch --set-upstream-to
2023-07-27 22:15:22 3759
原创 git在工作区和本地库的操作命令
git在本地的常用操作命令:查看提交信息: git log , git reflog版本回滚: git reset撤销修改: git reset HEAD , git checkout --
2023-07-23 20:06:51 650
原创 git学习总结
分布式:指的是数据库是分布式的,不是集中在一个地方的。所以数据库分为本地库和远程库。step2:进入目录后,打开git bash。执行命令 git clone 远程库地址(HTTP地址或SSH地址)。数据库:存储版本信息的地方就叫做数据库,里面记录的是文件或目录状态的地方,存储内容修改的历史记录。缓存区(暂存区):是为了提交工作树的所有改动到本地库做准备的。工作树(工作区):本地上,在git管理下,大家实际操作的目录。.git 目录上一级的目录。1.1、git init通常用于项目从无到有,即没有远程库。
2023-07-19 21:17:25 1194
原创 clickhouse使用clickhouse-keeper代替zookeeper
clickhouse进入只读模式,使用clickhouse-keeper代替zookeeper
2022-11-17 16:14:35 5272
原创 Hive常见的计算(连续纸,topN,行专列,列转行)
hive 面试sql 连续值 topN 行转列 列转行 json解析 jsont_uple get_json_object
2022-05-24 02:54:57 1564
原创 使用Ip2Region将IP值转换为地址(impala,spark)
ip转换省份,城市, ip2regionimpala, sparksql,自定义udf,spark
2022-05-10 17:47:10 1439
原创 MapReduce的启动流程,源码阅读
MapReduce的启动过程,MR的输入和输出的格式类和路劲检查,切片逻辑,application临时目录构建,
2022-05-08 23:03:12 944
原创 Scala计算时间,向前向后推一段时间
def getStartTime(nowdate: String, delay: String): String={ val format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") val fr = new java.text.SimpleDateFormat("yyyy-MM-dd HH:mm:ss") var mdate = "" val d = fr.parse(nowdate) val myTime = (.
2022-04-24 11:53:38 362
原创 Hive的时间函数
1- 获取当前日期,得到 yyyy-mm-dd格式select current_date;2- 获得当前时间的 时间戳select unix_timestamp();3- 时间戳和日期的相互转换。 from_unixtime 和 unix_timestamp 3.1-- from_unixtime -时间戳(13位) 转 日期-- 默认日期格式是 yyyy-mm-dd HH:MM:ssselect from_unixtime(1637232609);...
2021-11-18 19:09:27 3464
原创 1-docker架构
docker是一种容器技术。容器是一种轻量级,可移植,自包含的软件打包技术。解决不同服务需要不同的环境它采取的是client/server架构,主要有是三个组件(client,daemon,registry),两个概念(image和container)三个组件:client端:最常见的是 docker命令daemon:服务器端,以linux后台服务形式运行。负责 创建,运行,监控容器; 构建存储镜像。 默认是相应本地host的请求,如果需要远程,需要配置registry: 是存放im
2021-11-09 15:27:27 76
原创 Hive安装部署
前提: 安装了 hadoop(提供数据的存储HDFS) 和 mysql (作为hive的元数据库)。mysql新建了hive的用户。 用户名为 hive , 密码为 "12345678"官网下载安装包 Index of /dist/hive 。 以hive-2.3.7为例 解压缩安装包 以 安装目录为 /opt/cluster/servers 为例, cd /opt/cluster/servers/tar zxvf apache-hive-2.3.7-bin.tar.gz -C ..
2021-11-06 20:17:00 2292 7
原创 Canal-adapt部署遇到的小坑-java.lang.IllegalArgumentException: Could not resolve placeholder ‘GROUP[1]‘ in v
背景: 使用 canal+ kafka + canal-adapt。 将 源数据库mysql0 实时同步到 目的数据库mysql2。 数据流向 Mysql0 -> canal -> kafka -> canal-adapt -> Mysql2按照官网的demo步骤进行配置。后运行报错2021-10-25 19:45:16.358 [Thread-2] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoade.
2021-11-04 12:08:55 742
原创 FlinkCDC同步mysql的demo
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/ma.
2021-09-17 17:07:52 8294 19
原创 linux安装 mysql5.6,遇到Please configure the ‘hostname‘ command to return a correcthostname.
今天需要在linux安装个mysql用于测试,在网上找个教程便开始安装前面的下载,解压,重命名文件夹,添加用户,用户组都不会有啥问题,我的mysql的解压安装路径是 /root/xxx/mysql,没有按照教程的解压安装路径。groupadd mysqluseradd -r -g mysql mysql然后按照教程修改 /etc/my.cnf添加了basedir=/usr/local/mysqldatadir=/usr/local/mysql/databasedir=/usr/.
2021-09-08 11:34:35 1149
原创 window下的kafka安装部署,命令练习
1- 前期环境准备(mysql,kafka,canal) 1.1- windows下mysql的安装部署 1.2- windows下kafka的安装部署 1.3- windows下canal的安装部署2- Mysql的配置文件配置(开启bin-log)3- kafka的配置文件设置4- canal的配置文件设置5- 测试记录...
2021-08-17 17:14:03 135
原创 Window环境下canal实时同步mysql增量数据到kafka的单机版demo
1- 前期环境准备(mysql,kafka,canal) 1.1- windows下mysql的安装部署 1.2- windows下kafka的安装部署 1.3- windows下canal的安装部署2- Mysql的设置(开启bin-log,创建用户)3- canal的配置文件设置4- 测试记录本文是为了测试canal的基本功能,使用windows操作系统,采用单机模拟实际的集群(kafka和canal)。对比实...
2021-08-17 14:58:03 583
原创 吴恩达深度学习-第一课神经网络和深度学习-第2周课后编程
import numpy as npimport matplotlib.pyplot as pltimport h5pyimport scipyfrom PIL import Imagefrom scipy import ndimagefrom lr_utils import load_dataset##第二周的课后编程训练# 1- 介绍了项目中需要的一些库,并导入 numpy,matplotlib.pyplot,h5py, scipy, Image# 2- 加载项目的 数据(训练集.
2021-07-25 17:53:09 503
原创 吴恩达深度学习-第一课神经网络和深度学习-第二周课后小测
1: What does a neuron compute?(神经元怎么进行计算)A: A neuron computes an activation function followed by a linear function (z = wx + b),神经元在计算完线性函数 z = wx + b后在进行激活函数计算B: A neuron computes the mean of all features before applying the output to an activation fu
2021-07-25 17:42:35 827 5
原创 Elasticsearch基本概念术语(索引,文档,分片等)
使用ES,通常会遇到这个概念, 索引,文档,节点,分片,副本。索引和文档,是偏向开发人员视角,逻辑概念节点,分片,副本等,运维人员可能会偏重点,偏向物理概念。1- 文档(document):是ES 所有可搜索数据的最小单位,它会被序列化成JSON格式(可以包含 不同的类型的字段),保存到ES中。每个文档都有一个UID,可以自己定义,也可以交给系统生成。 1.1- 文档的组成 元数据:用于标注 文档的相关信息 字段: 类似于 关系型数据库的字段,...
2021-04-07 10:22:09 986
原创 flink03_基本算子,map, flatMap, filter
Map算子: 类似spark的map算子,功能是转换数据类型,输入和输出的数量是1对1。下列例子是,将输入的String 转化为 string的长度flatMap算子: 类似spark的flatMap, 功能是转换数据类型,输入和输出的数量可以是 1对多。 下列例子是分词, 将输入的整数数据 按照 " , " 分割,加上10后输出。filter算子: 类似spark的filter,符合规则 就输出。 下列例子是 输入一组 整数数据,将偶数输出。package com.flinkTest.tra
2021-03-16 17:10:34 270
原创 flink2_ source读取数据
在flink程序流程中属于第二步从集合或文件中读取// 从集合中读取env.fromCollection(Arrays.asList( "hello java", "hello spark", "hello flink", "hello scala"));// 从文件中读取env.readTextFile("<filePath>");从kaf
2021-03-16 16:54:22 323
原创 flink windows的wordcount demo(离线和实时)
1.新建maven项目,pom文件新增如下代码 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.2</version> </dependency>
2021-03-04 15:09:09 430 1
翻译 开启zookeeper的安全认证功能,并配置kafka对zookeeper的身份验证
目录1-- 为啥需要开启zookeeper认证2-- 如何开启zookeeper认证2.1-- 修改文件 zoo.cfg, 开启认证功能2.2-- 创建 jaas.conf文件,配置认证的用户和密码(例子的文件路径为 /etc/zookeeper/jaas.conf)2.3-- 设置jaas.conf的权限,权限是 zookeeper 组件的用户,假设组件zookeeper的拥有使用者名为 zkp,所需组为root2.4-- 更新zookeeper的JVM flags2.5...
2020-12-21 15:23:37 30689 14
sense(beta)插件
2018-10-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人