- 博客(135)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 希腊字母以及读音
Α α： Alpha /'lf/Β β： Beta /'bi:t/Γ γ： Gamma /'gm/Δ δ：Delte /'delt/Ε ε： Epsilon /'epsln/Ζ ζ ：Zeta /'zi:t/Ε η：Eta /'i:t/Θ θ： Theta /'θi:t/Ι ι： Iota /a’t/Κ κ：Kappa /'kp/∧ λ：Lambda /'lmd/Μ μ： Mu/mju:/Ν ν： Nu /nju:/Ο ο：/umaikrn/∏ π： /pa/Ρ ρ：/r/∑
2022-10-24 12:48:28
270
原创 prometheus监控nginx-ingress
kubectl edit cm prometheus-configuration-8hk4m6bf76 -n ingress-nginxapiVersion: v1data:prometheus.yaml: |global:scrape_interval: 10sscrape_configs:- job_name: ‘ingress-nginx-endpoints’kubernetes_sd_configs:- role: podnamespaces:names:- ingress-
2022-07-07 12:10:48
774
原创 CentOS8 安装Grafana
这里写自定义目录标题下载地址安装检查是否安装成功启动检查是否启动成功对接prometheus登录配置数据源选择prometheus添加dashboard下载地址https://grafana.com/grafana/download安装wget https://dl.grafana.com/enterprise/release/grafana-enterprise-8.3.6-1.x86_64.rpmsudo yum install grafana-enterprise-8.3.6-1.x86_
2022-06-01 21:38:11
551
转载 测试ingress
{“annotations”: {“list”: [{“builtIn”: 1,“datasource”: “-- Grafana --”,“enable”: true,“hide”: true,“iconColor”: “rgba(0, 211, 255, 1)”,“name”: “Annotations & Alerts”,“type”: “dashboard”}]},“description”: “Loki version 2 showcase using JSON
2022-05-09 14:38:18
248
原创 子网掩码作用
子网掩码目的是把32位的ip地址区分成网络标志和主机标志，比如26，即ip前26位为网络标志，而后6位就是主机标志，6位2进制数代表了0到63共64个数，即64个主机。192.168.x.x 是C类地址，网络号为前24位，内部网络为了再区分网络，设置一个叫子网的东西，子网掩码26（或255.255.255.192）表示前26位为网络段，除去前24位的网络号，第25、26表示子网号段，末8位的范围即0000 0000-0100 0000-1000 0000-1100 0000- 的十进制即为 0-64-128
2022-04-26 10:00:29
207
原创 nc(netcat)
D:\netcat-win32-1.12>nc -h[v1.12 NT http://eternallybored.org/misc/netcat/]connect to somewhere: nc [-options] hostname port[s] [ports] ...listen for inbound: nc -l -p port [options] [hostname] [port]options: -d detach fro
2022-04-07 00:35:49
3115
原创 linux安装hbase 2.3.3 standalone模式启动
已配置免密登录已配置jdk 8export JAVA_HOME=/opt/jdk1.8.0_261export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarjava -versionjava version "1.8.0_261"Java(TM) SE Runtime Environment (build 1.8.0_261-b12)Java HotSpo
2022-04-06 23:57:00
1772
原创 linux ssh免密登录
ssh-keygen -t rsa# 一路回车cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2022-04-06 23:42:55
552
原创 大数据学习教程
https://www.bilibili.com/video/BV1HT4y1Z7vR?p=2&spm_id_from=pageDriver
2022-03-16 00:14:21
1970
转载 CentOS8在线安装MySQL
这里写目录标题安装（联网状态）设置开机启动查看状态启动停止重启执行一些与安全性相关的操作并设置MySQL根密码依次是登录赋予root远程访问权限开启防火墙3306端口安装（联网状态）sudo dnf install @mysql设置开机启动sudo systemctl enable --now mysqld查看状态sudo systemctl status mysqld启动sudo systemctl start mysqld停止sudo systemctl stop mysql
2022-01-26 00:42:05
523
原创 SpringBoot基于Maven多模块开发
目录pom.xmlmulti_modulecommonscheduleserverflinkcommon作为DAO层，包含server和schedule共用的service层serverschedule代码位置multi_module -common -schedule(依赖common) -server(依赖common) -flinkpom.xmlmulti_module<?xml version="1.0" encoding="UTF-8"?>&
2022-01-24 00:59:51
1522
原创 spark on yarn和standalone的区别
相同点standalone是spark自身携带的资源管理框架，yarn是hadoop中的资源管理框架。都是对核心和内存进行管理和分配。不同点底层实现方式不一样。standalone是比较简单的资源管理，给application分配核心时，分配多少就占用多少，但核心和内存分配自由度大。而yarn是以container为单位分配的，粒度较粗，当然可以自行设置container中资源的大小。yarn中有fifo调度器，容量调度器，公平调度器这三种资源分配策略，可以动态实现资源的扩缩，更灵活，更重。另外，s
2022-01-10 22:20:47
2409
原创 读取文件排序写文件
import java.io.*;import java.util.*;public class Main { private static final String logName = "j.log"; private static final String parentPath = "E:\\taskId"; /** * 读取文件的内容，追加到j.log * * @param filePath filePath * @param
2022-01-07 01:10:31
430
原创 Rowkey设计原理
Rowkey本身相当于一级索引。三大原则：唯一性原则：Rowkey在设计时必须保证其唯一性，这是由于HBase的核心存储结构是KeyValue形式，在同个版本表格的情况下，如果后添加的Rowkey与已有的相同，则会覆盖原先的数据（思：versions）。补充：排序原则：在Hbase中，Rowkey是按照Ascll的顺序排序存储的，因此在Rowkey的设计时，要充分利用这个特点，将经常读取的数据存储到一块，将最近可能会被访问的数据存储到一起（思：最大值-时间戳）。长度原则：Rowkey是一个二进制码流
2022-01-04 00:28:54
1371
原创 二级索引（hbase和es）
二级索引是为了让HBase能够提供多维度的查询能力。ES+HBase实现二级索引：查询条件和Rowkey存储到ES，适合复杂的条件查询和聚合查询。需要到处与结果相关联的原始数据时，根据结果的Rowkey去HBase查找。图片类似：https://img-blog.csdn.net/20150707220421422...
2022-01-04 00:28:09
1185
原创 hbase多条件查询（shell验证）
Rowkey设计时多会把常用到的条件查询的条件放入Rowkey中，按照字段序排序。如：person:age,height17_175 a17_179 b18_178 c18_176 d18_182 e19_170 f19_180 g20_179 h20_181 i20_184 j查询：18岁对Rowkey进行范围查询[18_,18~]查询：18岁，[175,180]对Rowkey进行范围查询[18_170,18_180]...
2022-01-04 00:26:34
1511
原创 hbase知识点梳理
是什么应用场景优缺点表格结构和属性：ttl，缓存大小，是否压缩原理图(进程层次)深层次原理图(存储层次)集成的文件系统常用shell命令：get，scan，过滤器注意点及demo1 rowkey设计时间戳逆序，加盐2 少用列就少用3 横向拓展用户界面查看引用：《Hadoop权威指南（第二版）》...
2021-12-21 09:33:25
916
原创 JVM性能调优6步骤
监控gc状态生成堆的dump文件分析dump文件分析结果，判断是否需要进行优化调整gc类型和内存分配不断分析和调整目的：减少gc频率和full gc次数。触发full gc的原因：1 年老代被写满2 持久代空间不足3 调用System.gc临近崩溃标志：每次gc时间越来越长。full gc次数越来越多...
2021-12-15 22:38:25
788
原创 JVM性能调优-各种GC
Major GC和Full GC区别Full GC：收集年轻代，年老代，永久代（元数据区,即元空间、metaspace，java8后取代永久代）。Major GC：只收集年老代。触发机制Minor GC触发机制年轻代（Eden区）满（无法为新创建的对象分配空间）时触发，survivor满时不触发，通过复制算法回收垃圾，复制算法不产生内存碎片。复制算法会将空间区间和活动区间交换。会触发stop-the-world，但速度很快。Major GC触发机制老年代空间不够用，标记清理算法清理出连续的内存
2021-11-24 22:06:54
375
原创 JVM性能调优-heap三区域
heap组成分为三区域1 新生代（young generation）新生代分为：eden区，s0区，s1区。eden区：任何新进入运行时数据区域的实例都会存放在此。s0区：存在时间较长，经过垃圾回收没有被清除的实例，就从eden 搬到了s0。s1：存在时间更长的实例，就从s0 搬到了s1。2 旧生代（old generation/tenured）存在时间更长的实例，对象多次回收没被清除，就从s1 搬到了tenured。3 永久代（perm）指内存的永久保存区域，主要存放Class和元数据的
2021-11-21 00:02:03
510
原创 vue整合echarts
ant design admin中使用echarts。添加依赖npm install echarts -Smain.js中importimport * as echarts from 'echarts'// 集成echartsVue.prototype.$echarts = echarts使用封装成组件以柱状图为例。BarChart.vue<template> <div id="main" style="width: 90%; height: 400px"
2021-10-07 19:12:11
305
原创 scala知识点梳理
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-10-03 22:07:53
179
原创 缓解失眠
深夜，不能寐，由此记。侵删。1 睡不着就别躺着了困了再睡，建立睡觉和床之间的联系。睡觉前务必洗脸刷牙，赋予睡觉一种仪式感。2 心理暗示保持最舒服的睡眠姿势，深呼吸几次，注意听呼吸声。想象身体各部位正在慢慢松弛下来，大脑似乎断电了一样，整个身体越来越沉。3 对睡眠有正确的认知自动性思维：可能是人的潜意识或信念，能对人产生心理暗示作用，甚至导致焦虑。变自动性思维为应对性思维。如：1)自动性：睡不着躺床上也是休息；应对性：睡不着就起床看点书，困了再躺下。2) 自动性：如果今晚上睡不着，明天肯定疲倦干不
2021-10-02 02:30:35
164
原创 记一次面试经历20210814
岗位：大数据工程师期望薪资：15k公司规模：50人问题：1 kafka认证机制简单介绍分为安全认证和权限控制。客户端身份认证的几种方式：sasl(plain)，ssl，sasl(kerberos)等。ACL：主要权限有read，write，delete，create，alter，describe等。可通过kafka-acl.sh添加和修改acl。2 同一个topic下同一个group中的kafka消费者数多于分区数时，多余的消费者会收到消息么？不会，这时候一个消费者会对应一个分区。3 t
2021-08-14 11:32:08
83
原创 kafka消息清理策略
思想Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。清理策略针对的是过期的segment文件，而不是某条过期的数据。可以单独针对某topic配置，也可针对kafka集群配置（config/server.properties）。策略分三种：基于时间，基于日志文件大小，基于日志文件起始偏移量。为了避免在删除时阻塞读操作，采用了copy-on-write形式的实现，删除操作进行时，读取操作的二分查找功能实际是在一个静态的快照
2021-08-07 23:47:17
3081
原创 hbase预分区和注意点
一、预分区1 原因：热点问题：数据持续读写一个region（或节点）上。region自动分区会造成频繁IO。2 设置分区（前缀）范围-10,10-20,20-30,30-40,40-50,50-60,60-70,70-80,80-90,90-生成分区前缀：建表：造数据：查看web ui以验证二、注意点1 如何加盐2 每个RegionServer上分区多少合适...
2021-07-14 22:16:15
2090
1
原创 spark提交方式
一、local模式local：使用一个worker线程本地化运行，完全不并行。local[n]：用n个worker线程本地化运行，理想状态n应该等于机器cpu核数。local[*]：使用与逻辑cpu相同数量的线程本地化运行。二、standalone模式spark://host:7077，使用指定的spark集群跑任务。web ui：http://host:8080。1 client模式测试环境用。原理：常用提交脚本：2 cluster模式生产环境用，可以设置ha和rdd的高可用，会有一
2021-07-12 13:04:05
235
原创 SparkPI 蒙特卡罗求圆周率
目录一、算法二、代码一、算法二、代码package org.apache.spark.examplesimport scala.math.randomimport org.apache.spark.sql.SparkSessionobject SparkPi { def main(args: Array[String]): Unit = { val spark = SparkSession .builder.master("local[*]") .appN
2021-07-10 22:16:38
202
2
原创 win10本地化安装hbase 1.3.1
win10本地化安装hbase 1.3.1一、下载地址一、解压到D盘二、配置环境变量三、配置文件1、 hbase-env.cmd2、hbase-site.xml四、启动/关闭五、创建表格六、Web UI：七、注意点：一、下载地址下载地址: https://archive.apache.org/dist/hbase/1.3.1/已安装jdk1.8以下安装步骤，可供参考一、解压到D盘D:\hbase-1.3.1二、配置环境变量HBASE_HOME=D:\hbase-1.3.1path中添
2021-06-26 18:08:28
443
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人