PONY LEE-CSDN博客

可能是test01.domain.com或者公司外层网关负载有类似防盗链配置，因为本地其他域名跨域没有类似问题。这个配置导致跨域失败，配置的作用是把原http请求的header中的host字段（即域名）放到转发请求里面。test02.domain.com与test01.domain.com 为不同域名，互访需要跨域。或者不配置默认：test01.domain.com。

2023-01-30 16:44:47 992

镜像ponylee/jenkins-centos7:v2.0基于镜像ponylee/jenkins-centos7:v1.0（镜像ponylee/jenkins-centos7:v1.0基于jenkins/jenkins:lts-centos7-jdk8, 添加 git maven jdk8 等java部署常用的工具。同时改变运行用户jenkins为root，放大权限），添加node-v14.18.2, 更改 openjdk 为 oracle jdk1.8，具体请。

2023-01-29 15:19:15 643

原创常用git命令笔记

【代码】git命令汇总

2023-01-11 11:48:18 153

原创 jenkins docker 部署-01

镜像ponylee/jenkins-centos7:v1.0基于jenkins/jenkins:lts-centos7-jdk8, 添加 git maven jdk8 等java部署常用的工具。同时改变运行用户jenkins为root，放大权限。

2022-12-14 21:14:51 311

原创【转载】elastic-job链接zookeeper报错KeeperErrorCode = OperationTimeout

org.apache.zookeeper.KeeperException$OperationTimeoutException: KeeperErrorCode = OperationTimeout 报错新同事本地启项目，springboot启动报这个错，原文如下:排查过程：网上有说防火墙的(试了不行)；有说zk版本的(这边还是第三方包间接依赖的，且有包冲突，试了去掉一个没好使);解决方案：修改了超时时间本地启动OK原文链接

2022-12-06 20:13:30 2429 2

原创安装mysql客户端

安装mysql client

2022-12-02 16:10:33 536

原创自动化生成标准ETL脚本

在做ETL开发的时候，如果针对每一个字段的处理逻辑基本相同，需要处理的字段和模型又特别多。在这种情况下我们可以通过此ETL生成器，批量生成标准的ETL。

2022-09-01 20:49:02 726

原创 Hive SQL时间函数及用法

函数： last_day(string date)返回值：string返回该日期所属的月份的最后一天(截至Hive 1.1.0)。date为字符串，格式为“yyyy-MM-dd HH:mm:ss”或“yyyy-MM-dd”。日期的时间部分被忽略。

2022-08-29 16:10:37 6589

原创 java 开发计算精度的问题

所以，在涉及到精度计算的过程中，我们尽量使用String类型来进行转换，正确用法如下。

2022-07-25 21:59:42 833

原创 flink部署模式总结

基于flink-1.15.0此部署模式主要用于测试此部署模式，由flink自己负责资源管理分配此部署模式，main函数在jobmanager运行并生成job graph，减轻客户端压力部署方式：flink部署模式（一）- standalone和application此部署模式，共享jobmanager和taskmanager，所有的job都在一个runtime中运行。优点：启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager，

2022-06-20 18:15:08 1382 3

原创 flink部署模式（四）- standalone k8s application部署模式

Dockerfile构建镜像NOTE：需要镜像上传到docker镜像私服（或者在每个node节点都构建相同的镜像），并保证所有k8s node节点都有权限链接到此私服。登录本地镜像仓库重新打标签推送镜像测试镜像可用性创建configmap创建jobmanager创建taskmanager创建jobmanager service创建namespace设置命名空间首选项创建 Flink 集群查看服务信息查看日志信息删除服务删除ns及下面所有服务查看pod详情查看集群node详情查看configmap

2022-06-20 15:32:05 666

原创 flink部署模式（三）- standalone k8s session 部署模式

flink版本flink1.15.0。k8s部署（minkube简单快速部署k8s）：https://minikube.sigs.k8s.io/docs/start/如果使用 MiniKube，请确保在部署 Flink 集群之前先执行 minikube ssh ‘sudo ip link set docker0 promisc on’，否则 Flink 组件不能自动地将自己映射到 Kubernetes Service 中。拉取镜像测试镜像可用性登录本地镜像仓库重新打标签推送镜像NOTE：需要镜像上传到d

2022-06-20 15:18:46 837

原创 flink部署模式（五）- native k8s 两种部署模式

首先需要k8s环境，并且k8s version >1.9。flink版本flink1.15.0。k8s部署（minkube简单快速部署k8s）：https://minikube.sigs.k8s.io/docs/start/如果使用 MiniKube，请确保在部署 Flink 集群之前先执行 minikube ssh ‘sudo ip link set docker0 promisc on’，否则 Flink 组件不能自动地将自己映射到 Kubernetes Service 中。native k8s s

2022-06-20 15:01:17 2215 2

原创 yarn部署模式依赖预上传设置

将运行所需的依赖包与上传到远程（如：hdfs系统），这将使作业提交变得非常轻量级，因为所需的Flink jar和应用程序jar将由指定的远程获取，而不是由客户端发送到集群。NOTE：Session Mode on yarn【yarn.provided.lib.dirs】参数解释NOTE：如果自己指定 yarn.provided.lib.dirs，有以下注意事项：示例:............

2022-06-20 14:32:36 937

原创 flink部署模式（二）- yarn三种部署模式

基于flink1.15.0开启flink yarn-session集群提交任务进入客户端交互界面强制杀掉任务NOTE：启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager启动perjob集群查看集群上运行的job./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1652928425471_0252 取消某个job**NOTE：**在per

2022-06-20 14:19:12 1563

原创 flink部署模式（一）- standalone和application

这里采用docker方式部署实现flink的standalone和application部署模式，由于local模式是standalone模式的特例，所以这里就不再演示。Dockfile镜像构建登录本地镜像仓库：推送镜像：测试镜像可用性创建网络开启jobmanager开启taskmanagerStandalone Mode on Docker创建网络开启jobmanager开启taskmanager提交任务到standalone集群............

2022-06-20 14:05:18 1131

原创 Kubernetes服务质量保证之配置容器资源limits和requests

对于每一个资源，container可以指定具体的资源需求（requests）和限制（limits），requests申请范围是0到node节点的最大配置，而limits申请范围是requests到无限，即0

2022-06-16 20:04:43 959

原创 hive优化参数配置

hive优化参数配置

2022-06-14 14:01:25 627

原创 hive多维分析

hive 多维分析

2022-06-14 13:55:07 504

原创 hive调优

hive调优

2022-06-14 13:41:17 352

原创 kafka offset管理

kafka offset

2022-06-10 13:51:01 186

原创 yarn 队列标签配置及使用

yarn queue label 配置及使用方法

2022-06-08 17:33:54 2616

原创配置nginx支持ssl

1.通过这个命令在当前目录西下生成了server.key和server.crt文件，在nginx配置中要用，-days表示证书有效期，其他都不用改openssl req -x509 -nodes -days 36500 -newkey rsa:2048 -keyout server.key -out server.crt执行过程中需输入的地方2.然后修改nginx配置就行，如要在server部分增加下面三行配置就行，其他不用动，证书是两个文件对应的全路径，重启nginx就行listen

2022-05-17 10:51:24 315

原创 flink任务java VerifyError 报错209问题

使用java开发的工程或多或少都会遇到VerifyError 类似的问题。flink版本: flink-1.10.1jdk版本为: 1.8.0_20java version "1.8.0_20"Java(TM) SE Runtime Environment (build 1.8.0_20-b26)Java HotSpot(TM) 64-Bit Server VM (build 25.20-b23, mixed mode)报错：22/05/16 16:46:08 INFO entrypoin

2022-05-16 19:56:28 1042

原创 Elasticsearch 聚合损失精度的问题解决思路

因为java 浮点类型（double/float）类型在做运算时会存在丢失精度的问题。es是使用java开发实现，所以同样的问题在es也存在。现在以示例的方式展现在es中如何规避这个问题。es版本: 6.5.4以docker容器的方式快速启动esdocker run --name es6 --net host -e "discovery.type=single-node" docker.io/elasticsearch:6.5.4实例演示创建索引：curl -X PUT http://127

2022-05-07 00:27:29 3360

原创 flink中checkpoint机制总结

CheckPoint 执行过程：JobManager 端的 CheckPointCoordinator 向所有 SourceTask 发送 CheckPointTrigger，Source Task 会在数据流中安插 CheckPoint barrier。当 task 收到所有的 barrier 后，向自己的下游继续传递 barrier，然后自身执行快照，并将自己的状态异步写入到持久化存储中。增量 CheckPoint 只是把最新的一部分更新写入到外部存储;为了下游尽快做 CheckPoin

2022-04-20 17:01:23 2556

原创 flinkx部署

flinkflink 版本：flink-1.10.1flink部署目录: /data/flink/flink-1.10.1flinkxflinkx基于flink做的开源数据集成服务，目前改名DTStackflinkx 版本：flinkx_1.10部署目录: /data/flinkx/flinkx_1.10flinkx插件分发脚本需要分发到所有yarn nodemanager节点#!/bin/bash env#flinkx_deploy.shYARN_HOSTS=bdphdp01,bd

2022-04-19 16:24:42 561

原创 flink开发maven idea配置

pom.xml文件：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.

2022-04-19 10:37:36 4527

原创 Flink并行度配置方式和执行级别

Flink并行度配置方式和执行级别Flink设置并行度的几种方式系统设置修改配置文件: /conf/flink-conf.yaml的parallelism.default数值客户端CLI设置（或webui直接输入数量）./bin/flink run -p 4或全局设置env.setParallelism(3);算子设置（部分设置）dataStream.map(new MapFunctionClass()).setParallelism(4).keyBy

2022-04-14 19:28:01 1999

原创 hive窗口函数使用详解

ntile用于将分组数据按照顺序切分成n片，返回当前记录所在的切片值。经常用来取前30% 带有百分之多少比例的记录什么的注意：NTILE不支持ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY id ORDER BY mod_date ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)实例：select *,ntile(3) over(partition by id order by mod_date) from t041

2022-04-12 11:15:14 1706