daxiongwuwuwuw的博客

原创 pmql基本使用

Prometheus 通过指标名称（metrics name）以及对应的一组标签（labelset）唯一定义一条时间序列。指标名称反映了监控样本的基本标识，而 label 则在这个基本特征上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤，聚合，统计从而产生新的计算后的一条时间序列。PromQL 是 Prometheus 内置的数据查询语言，其提供对时间序列数据丰富的查询，聚合以及逻辑运算能力的支持。并且被广泛应用在 Prometheus。

原创 豆瓣源pip

pip3 install mysqlclient -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com

原创 java加载其他目录的jar包

比如我在/home/service/app/flinkjobs下面放了一些jar包，想加到java运行的路径时候，我可以用java.ext.dirs加进去，同时要记得加入本身的目录：比如我的jdk的ext路径是:/usr/local/jdk8/jre/lib/ext/ ，那么要这样。

原创 spark broken pipeline

随笔。hive写ck踩坑

原创 提交Spark作业遇到的NoSuchMethodError问题

dsa

原创 精确去重与模糊去重

开发随笔而已

原创 netty参考

https://github.com/Snailclimb/netty-practical-tutorial/blob/master/docs/2-Netty%E7%89%88%E7%9A%84HelloWorld.md

原创 一次清理cookie的问题

原创 【无标题】

https://mp.weixin.qq.com/s?__biz=MzAxODQxMDM0Mw==&mid=100000768&idx=1&sn=86d496e4a1e65c72cddca36977c61eb4&chksm=1bd7fa082ca0731ed85848513bc8d983f2b1f51f40c159d33c249aaa7de9687dfa17a6662fae&mpshare=1&scene=1&srcid=0119UaBas7GvvCG

原创 jpa的坑

jpa oneTomany如果打印toSTring会出事jpa查询实体，set一下，会发现数据库也改了，因为自动调用update

原创 记一次swagger卡死

现象：swagger请求接口一直转圈，浏览器卡死诊断：打开f12，接口有返回，24兆，200万条记录。说明后端返回数据过大，前端渲染不来。

原创 记一次java -jar的方式启动spark

因为测试环境没有yarn，也没有现成的spark集群权衡一下，不用spark-submit，使用java -jar挺轻量，啥都不用部署，所以我打了一个jar包，丢到服务器上面，问题来了1.要制定main函数所以java -jar不能用，改java-cp指定主类2.报各种 class not found直接把这个jar包往jre的ext里面一丢，啥都不缺，快得很。这样一个简陋但是能用的测试轻量环境就可以了。比起我以前一个人运维yarn，spar，hivek集群那些省了不少时间。...

原创 记录一次UTFDataFormatException

在一次执行spark任务的时候出现了以下错误at org.apache.spark.rdd.RDD.foreachPartition(RDD.scala:933)at org.apache.spark.sql.Dataset$$anonfun$foreachPartition$1.apply$mcV$sp(Dataset.scala:2736)at org.apache.spark.sql.Dataset$$anonfun$foreachPartition$1.apply(Dataset.scala:

转载 linux分区使用爆满删除后没有释放空间

参考“https://blog.csdn.net/qq_34556414/article/details/106938636问题说明IDC里的一台服务器的/分区使用率爆满了！已达到100%！经查看发现有个文件过大（80G），于是在跟有关同事确认后rm -f果断删除该文件。但是发现删除该文件后，/分区的磁盘空间压根没有释放出来，使用率还是100%！这是为什么呢？？[root@linux-node1 ~]# df -hFilesystem Size Used Avail Use%

原创 柯里化的作用

很多文章再写柯里化的时候没说明其作用，就列了个x+y。下面还是用x+y为例子先给出一个普通的非柯里化的函数定义，实现一个加法函数：scala> def plainOldSum(x:Int,y:Int) = x + yplainOldSum: (x: Int, y: Int)Intscala> plainOldSum(1,2)res0: Int = 3使用“柯里化”技术，把函数定义为多个参数列表：scala> def curriedSum(x:Int)(y:Int) = x

原创 redis的hash表使用

======Hest设置map名称还有一个key和value127.0.0.1:6379> HSET hashMapName key1 Value1(integer) 1127.0.0.1:6379> HSET hashMapName key2 Value2(integer) 1==========我们会看到多了我们设置的hashMap的key127.0.0.1:6379> keys *“hashMapName”======hget获取一个127.0.0.1:6379

转载 值传递和引用传递

转自Hollis 公众号关于这个问题，在StackOverflow上也引发过广泛的讨论，看来很多程序员对于这个问题的理解都不尽相同，甚至很多人理解的是错误的。还有的人可能知道Java中的参数传递是值传递，但是说不出来为什么。在开始深入讲解之前，有必要纠正一下大家以前的那些错误看法了。如果你有以下想法，那么你有必要好好阅读本文。错误理解一：值传递和引用传递，区分的条件是传递的内容，如果是个值，就是值传递。如果是个引用，就是引用传递。错误理解二：Java是引用传递。错误理解三：传递的参数如果是普通类型

原创 左移位以及于运算

Ps：python中bin可以展示2进制的数字bin(1<<0)‘0b1’ 这里一位都没有移动bin(1<<1)‘0b10’ 移动了1位变成10bin(1<<2)‘0b100’ 移动了两位变成100bin(1<<0 | 1<<1)‘0b11’ 与运算变为这样bin(1<<0 | 1<

原创 记一次愚蠢的事情

df1：df2：然后我想选出df2中的4这一条，于是我select a.* from df1a ,df2 b where a.id_ <> b.id最终并没有得到我要的结果而是这个为什么？因为我们把sql改一下，把b也一起打印select a.* ，b.from df1a ,df2 b where a.id_ <> b.id这样就知道是怎么回事了，我们换一下sqlselect a.,b.* from df1 a left join on df2 bon

原创 使用spark 布隆过滤器的一个坑

object SparkAutoBloomFilterDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().enableHiveSupport().config(sparkConf).getOrCreate() import spark.implicits._ //注意！id_不能为数字，否则无效！！！！！// val df = Seq(// ("dsad11", "Firs

原创 hive的insert into语法

建表语句：CREATE TABLE test(id string,name string)PARTITIONED BY (dayno string)插入语句，注意string用单引号insert test partition(dayno=‘20210812’) values(‘2’,‘name2’),(‘3’,‘name3’),(‘4’,‘name4’);

原创 spark日志查看

找到application id进去这里查看driver或者进入spark的history来这里可以同时查看所有的executor，包括driver。点开executor后可以看到你所有的executor，和一个driver。日志见右侧。stdout是自己定义println的输出日志，stderr是spark输出的规范日志。对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里。如果application

原创 ps结合kill

ps -ef| grep hiveserver2 | awk ‘{print $2}’| xargs kill -9

原创 hive-jdbc排除依赖

首先系统报错如下：Caused by: java.lang.NoClassDefFoundError: org/eclipse/jetty/server/RequestLog$Writer这个时候百度。。然后就被带jetty沟里去了。后来才发现是包依赖的问题

原创 记录一个不错的设计

当studentMapper{name :Stringpic :String//头像的url}我们对student写了getOne，findAll一堆方法，当然我们做了vostudentVo{name :Stringpic :String//头像的url}需求变了，我们需要将pic每次轮询都要先查询一下第三方的服务才能得出了的时候，可能那堆方法我们都得改如果我们设计的时候，所有的student和vo的转换不是在代码里写死，而是都用了一个toSTudentVo的方法的时候，这个时候我

原创 动态规划-台阶与矩阵

一维数组台阶与二维矩阵台阶斐波那契和台阶斐波那契双层台阶三步台阶花费的台阶矩阵路径不同路径带障碍的不同路径矩阵路径求和斐波那契和台阶刷多了leetcode就知道，斐波那契和青蛙上台阶是一个问题。然后看了一篇博客，说动态规划最好打印出dp数组。拿斐波那契做一个例子斐波那契教科书级别的题目，f(n)=f(n-1)+f(n-2)双层台阶一般的台阶有两步。因为上n层台阶时候，你可以上一步，也可以上两步达到n，所以取决于n-1和n-2的方法，这就是个斐波那契。三步台阶台阶还可以像这样上三步。

原创 动态规划-子序列

公共子序列问题系列leetcode 1143 最长公共子序列题目：输入两个字符串s1和s2，找出最长公共子序列，返回这个子序列的长度。函数签名如下：int longestCommonSubsequence(String s1, String s2);子序列的问题一般都是两个指针移动求解。如下，我们设置两个指针i与j那么假设数组A长度为m，数组B长度为n，那么我们会有dp[i][j]，{0<=i<m,0<=j<n 。}表示A[i->m]以及B[j->n]之间

原创 动态规划之剪绳子

剪绳子基本剪绳子又或者变体一下，让你拆个证书剪绳子的问题确实不

原创 目录-动态规划问题整理

动态规划问题介绍题目类型斐波那契系列凑硬币系列公共子序列问题系列leetcode 1143介绍本篇仅为大熊的个人学习笔记题目类型斐波那契系列凑硬币系列公共子序列问题系列leetcode 1143子序列的问题一般都是两个指针移动求解。如下，我们设置两个指针i与j那么假设数组A长度为m，数组B长度为n，那么我们会有dp[i][j]，{0<=i<m,0<=j<n 。}表示A[i->m]以及B[j->n]之间的最长子序列的长度。那么就是填表环节。我们要填一

原创 idea打jar包给flink集群使用时的流程以及签名问题解决

流程参考：https://blog.csdn.net/qq_44065303/article/details/108343604签名问题Idea打jar包运行报错，“java.lang.SecurityException: Invalid signature file digest for Manifest main attri…背麻袋的袋鼠0.0962018.12.04 14:52:55字数 69阅读 462打好的jar包放到工程中运行报如下错误“java.lang.Secur

原创 docker-compose容器差了8小时

1.通常解法在docker-compose里面加入以下代码即可。 environment: - LANG=zh_CN.UTF-8 - LC_ALL=zh_CN.UTF-8 - TZ=Asia/Shanghai volumes: - /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime - /etc/timezo

原创 springcloud maven打包

pom文件父文件夹的pom加上`maven-compiler-plugin3.8.088org.apache.maven.pluginsmaven-source-plugin2.4attach-sourcesjar-no-fork <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactI

原创 随笔docker-compose：entrypoint的设置

一般来说我们设置镜像都会加个entrypoint像这样version: ‘3’services:aban:container_name: abanimage: abanentrypoint: init就像上面这样，最简单的entrypoint就是加个init就可以了‘。

原创 docker镜像安装java后重新进入容器/etc/profile失效

解决方法1：放在/etc/profile中的变量，放在/root/.bashrc中即可解决方法2：dockerfile构建或者docker-compose设置entry-point

原创 azkaban使用

文章目录Azkaban介绍安装下载地址安装过程解压并初始化mysql生成key配置server的azkaban.properties配置server的azkaban-users.xml配置executor启动案例1.单一任务2.多个任务Azkaban介绍我们都知道，大数据的分析用了很多的任务，之前我们用crontab跑定时脚本，基于hadoop的我们用阿兹卡班。 Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流 内以一个特定的顺序运行一组工作和流程，它的

原创 docker各种命名

1.docker run指定网络docker run -it --network 网络名 镜像名 /bin/bash2.depends_on依赖version: “3.7”services:web:build: .depends_on:- db- redisredis:image: redisdb:image: postgres3.设置网络比如下面的设置zookeeper:container_name: zookeeperimage: zookeeper:3.6.1po

原创 python：自定义pip包

准备代码我的是daysn|daysn|-test.py|____init.py 记得加init.py啊，不加生成个鬼|____setup.py首先是test.py然后setup.py# coding: utf-8 from setuptools import setup, find_packages setup( name='daysn', # 项目名称,也就是pip list后会出来的包名 version='1.0.0', pac

原创 python使用clickhouse

安装pip install clickhouse-driver测试clickhouse插入数据create table t1 (id UInt16, name String) ENGINE=TinyLog;insert into t1(id, name) values (1, ‘first’);代码测试##查询client = Client(host=‘clickhouse’,port=‘9000’)sql = “select * from t1”ans = client.exe

原创 pyflink各种demo-by大熊

参考于阿里-孙金城（1）从flink的自带数据生产器data-gen中生成数据，使用print sink打印出去from pyflink.datastream import StreamExecutionEnvironmentfrom pyflink.table import EnvironmentSettings, StreamTableEnvironmentdef hello_world(): """ 从随机Source读取数据，然后直接利用PrintSink输出。 "

原创 docker创建网络并在docker-compose使用

命令创建网络 docker network create --subnet=172.18.0.0/16 daysn-network查看网络 docker network ls删除网络 docker network rm 《你ls出来的id》docker-compose写法记得文件一定加上networks:daysn-network:external: true如下所示version: '3'services: mysql: image: mariadb:5.5 re