- 博客(94)
- 收藏
- 关注
RSS订阅原创 elasticsearch如何使用reindex迁移索引，完成分片的拆分
根据实际的生产场景，reindex对源集群性能带来的影响非常大，不建议这样使用。reindex的逻辑是先查询，再写入，一次全量的查询和持续的写入，想想就知道对源集群有多大的压力。如果你的磁盘性能又特别差，集群负载本身就比较高，那你完蛋了。建议最好的方式是将索引迁移至新的es集群中，这样源集群只会涉及到查询，影响最小，新集群刚开始无业务压力，写入不会增加太大的负担。
2024-05-21 19:00:00
129
原创 HBASE集群主节点迁移割接手动操作步骤
HBASE集群主节点指的是包含zk、nn、HM和rm服务的节点，一般这类服务都是一起复用在同一批节点上，我把这一类节点统称为HBASE集群主节点。本文中使用了rsync、pssh等工具，这类是开源的，自己可以下载安装。还有一类是我自己写的环境变量，xcgraceful_stopRegionserver是用于优雅的停regionserver，建议使用脚本停，有时候可能会出现优雅的停失效的问题。dxshell和xcjpsuser是一些我放在环境变量里面，堡垒机全局生效，脚本内容会附在文章末尾。
2023-09-28 14:15:23
896
原创 MegaCli64检查磁盘矩阵坏道情况
Media Error Count: 0 Other Error Count: 0 这两个数值来确定阵列中磁盘是否有问题；Medai Error Count 表示磁盘可能错误，可能是磁盘有坏道，这个值不为0值得注意，数值越大，危险系数越高，Other Error Count 表示磁盘可能存在松动，可能需要重新再插入。
2023-09-22 09:56:50
352
原创 CDH 集群离线部署、大数据组件安装与扩容详细步骤(cdh-6.3.1)
CDH在实际集群部署中，需要先搭建cm-server服务，然后在各个节点部署cm-agent服务。难点全部在cm-server服务搭建阶段和cm-agent环境初始化。后面涉及到大数据组建的搭建全部是在CDH页面操作，大家可以多摸索摸索使用。
2023-09-13 08:55:46
828
原创 清理buff/cache和swap空间释放
我这个操作没有生效，有人说0和>之间不要留空格就可以，我试过了，没卵用。不过也无所谓，下次服务器重启会自动置为0，不用刻意修改。此时发现free Mem是8g，Swap是9g，所以需要先释放buff/cache。#清理页面缓存和slab分配中的内存。此时检查再次检查swap是否全部为0。
2023-08-21 20:05:55
730
原创 Elasticsearch集群索引写入失败[FORBIDDEN/12/index read-only / allow delete (api)]处理流程
org.elasticsearch.hadoop.rest.EsHadoopRemoteException: cluster_block_exception: blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];
2023-06-15 11:18:37
2939
原创 安装Logstash并导入Movielens测试数据集(基于elasticsearch-8.5.2版本)
自定义部署标准标准描述eselasticsearch不允许使用root账号启动服务，如果你当前账号是root，则需要创建一个专有账户。本文档使用es作为专有用户。用于解压安装elasticsearch、java、kibana、logstash的软件安装包和相关配置文件。logstash-8.5.2的软连接解压后的Movielens测试数据集links.csv文件中的字段数据格式为：movieId,imdbId,tmdbIdmovieId： 每部电影的idimdbId： 电影排行榜。
2023-06-09 16:49:33
952
原创 如何在系统盘上格式化一部分空间单独挂载/metadata和/log
作为一名大数据SRE工程师，基本上很少涉及到服务器相关的挂盘操作，所以有问题都是找服务器的同事处理。可是最近服务器太忙，流程太慢，那我自己本身也有权限，那就自己干，丰衣足食。接下来进入正题。
2023-05-17 16:27:59
554
原创 kafka缩容后，使用tcpdump抓包找到还在连接的用户
获取向本节点9092端口发送数据的IP列表tcpdump dst port 9092 -i eth0 -c1000 |awk '{print $5}'|awk -F '.' '$1
2023-02-16 17:12:08
872
原创 万能的kill命令：ps -ef|grep Elasticsearch|grep -v grep|awk ‘{print $2}‘|xargs -r kill -9
如果需要匹配多个进程服务可是使用grep -E "Elasticsearch|NodeManager"
2023-01-05 10:55:50
1312
原创 kibana和elasticsearch-head安装手册
离线安装，就是在联网的虚拟机上安装成功，打包elasticsearch-head-master目录，解压到离线服务器的家目录下。离线安装，就是在联网的虚拟机上安装成功，打包.npm目录，解压到离线服务器的es用户家目录下。打开/home/es/software/head文件夹，修改Gruntfile.js文件，添加hostname:‘*’**问题2：**Elasticsearch的服务地址和Kibana中配置的elasticsearch.hosts不同。如果输出版本号，则node和npm安装成功。
2023-01-03 09:07:54
1097
2
转载 Failed to connect to github.com port 443: Timed out
报错原因是因为我使用了VPN，大家都懂的。接下来看一下问题和解决方案2、检查本地git的所有配置3、设置http.proxy因为开启了VPN，是代理的问题，所以需要设置一下http.proxy。先要查看自己的VPN端口号，如我的http端口号是10809，在git bash命令行中输入以下命令即可4、再次检查本地git的所有配置5、常用的git配置查看命令问题处理方法见如下链接：【已解决】OpenSSL SSL_connect: Connection was
2022-12-07 17:23:50
3083
原创 Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本)
Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本)
2022-12-01 16:15:18
4374
原创 ES集群手动搭建步骤V1.0(基于elasticsearch-7.3.0版本)
本文档适用于搭建ES集群，支持两种类型的操作系统：Centos 6.5、Centos 7.3。
2022-11-08 17:46:38
840
原创 kafka_2.11-1.1.1版本集群搭建手册
本文档仅适用于kafka_2.11-1.1.1版本和zookeeper-3.4.9版本的服务集群，不适用其他版本的安装。本文档搭建的Kafka集群结构为3个zookeeper + 2个controller + n个broker。所涉及zookeeper软件包均在链接: https://pan.baidu.com/s/1930nqCqKNadHRECT6VYvFg?pwd=2zv5 提取码: 2zv5 下，部署前请确认具体版本及环境。
2022-10-12 16:25:10
1373
原创 Elasticsearch核心概念
Elasticsearch简称ES，是一款基于的分布式全文搜索引擎，擅长海量数据存储、数据分析以及全文检索查询。它可以用于全文搜索、结构化搜索和数据分析。全文检索将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。结构化检索我想搜索华为手机的商品都有哪些，select*fromgoodswheregoods_id=‘华为’。数据分析电商网站，最近7天牙膏这种商品销量排名前10的商家有哪些；......
2022-07-27 10:45:47
277
原创 因为资源限制，导致namenode启动失败，报错unable to create new native thread
问题原因是在搭建hadoop集群之前，资源限制调整没有生效。所以建议大家在放宽资源限制之前，先删除/etc/security/limits.conf的相关设置，修改/etc/security/limits.d/90-nproc.conf，放宽最大进程数及最大文件句柄数限制。......
2022-07-22 15:07:46
859
原创 本科毕业四年：工作，辞职，结婚，买房
四年前的今天，我依旧清晰的记得，那天是一个周六。 那天是平凡的一天，我背着学生时代的书包，跨进了烽火四楼的报告厅。我带着满怀期待的心情，希望能在这里有一番作为。我没想到的是，这一天竟然成为了永恒的一天。这一天褪去了青涩，带上成熟；从热血青年，走上了学习成为平凡。 ...
2022-06-30 11:08:35
254
原创 Elasticsearch集群如何实现高并发？
目录1、并发数与QPS和平均耗时的关系1.1、什么是并发数、QPS、平均耗时avg1.2、并发数、QPS和平均耗时三者关系1.3、QPS和并发数，究竟是何种关系？2、Elasticsearch 集群架构2.1、Elasticsearch 关键概念2.2、创建索引流程3、如何提高并发？3.1、优化分片的数量，控制分片的大小3.2、通过横向扩展节点，提高副本数量4、总结在压测思想里面，基本上很少会单独讨论高并发的概念，因为并发并不容易被量化，所以单纯的讨论高并发问题是不现实的。与并发有关的还有另外两个相关的概念
2022-06-14 08:56:27
6158
6
原创 hadoop2和hadoop3端口区别表
最新的hadoop 3版本端口和2版本在端口尚有所改动，之前没用3版本不知道，运维的过程中才发现有区别，今天做了一下整理，用于记录两者的区别。
2022-06-05 21:21:31
619
原创 Elasticsearch集群跨机房迁移方案
目录背景介绍1 A机房elasticsearch集群基本情况2 在B机房完成elasticsearch集群扩容2.1 扩容规划2.2 启动非master节点2.3 通知业务修改集群连接地址3 将索引数据排空迁移至B机房4 下线A机房data节点5 master节点切割5.1 关闭集群自动均衡5.2 从节点pending master切割5.3 主节点required master切割6 恢复集群配置7 修改B机房节点配置，不需要重启背景介绍
2022-05-17 17:24:04
1181
原创 【java华为机试】HJ106 字符逆序
描述将一个字符串str的内容颠倒过来，并输出。数据范围：输入描述：输入一个字符串，可以有空格输出描述：输出逆序的字符串import java.util.Scanner;/** * * 项目名称：MyTest * 类名称：HJ106 * 类描述：HJ106 字符逆序* 创建人：jinL * 创建时间：2021年12月12日 下午10:23:14 * 修改人：jinL * 修改时间：2021年12月12日 下午10:23:14 * 修改备注： *
2022-05-12 11:46:57
376
原创 【java华为机试】HJ101 输入整型数组和排序标识，对其元素按照升序或降序进行排序
描述输入整型数组和排序标识，对其元素按照升序或降序进行排序数据范围： ，元素大小满足 输入描述：第一行输入数组元素个数第二行输入待排序的数组，每个数用空格隔开第三行输入一个整数0或1。0代表升序排序，1代表降序排序输出描述：输出排好序的数字import java.util.Scanner;public class Main { public static void main(String[] args) {// 第一行输入数组元素个数// 第二行输入待...
2022-05-12 11:45:05
395
原创 【java华为机试】HJ90 合法IP
描述IPV4地址可以用一个32位无符号整数来表示，一般用点分方式来显示，点将IP地址分成4个部分，每个部分为8位，表示成一个无符号整数（因此正号不需要出现），如10.137.17.1，是我们非常熟悉的IP地址，一个IP地址串中没有空格出现（因为要表示成一个32数字）。现在需要你用程序来判断IP是否合法。数据范围：数据组数：进阶：时间复杂度：，空间复杂度：输入描述：输入一个ip地址，保证不包含空格输出描述：返回判断的结果YES or NOimport java.util.
2022-05-12 11:42:55
284
原创 【java华为机试】HJ84 统计大写字母个数
描述找出给定字符串中大写字符(即'A'-'Z')的个数。数据范围：字符串长度：字符串中可能包含空格或其他字符进阶：时间复杂度：，空间复杂度：输入描述：对于每组样例，输入一行，代表待统计的字符串输出描述：输出一个整数，代表字符串中大写字母的个数import java.util.Scanner;public class Main { public static void main(String[] args) { Scanner sc = new Scanne.
2022-05-12 11:40:50
230
原创 【java华为机试】HJ76 尼科彻斯定理
描述验证尼科彻斯定理，即：任何一个整数m的立方都可以写成m个连续奇数之和。例如：1^3=12^3=3+53^3=7+9+114^3=13+15+17+19输入一个正整数m（m≤100），将m的立方写成m个连续奇数之和的形式输出。数据范围：进阶：时间复杂度： ，空间复杂度：输入描述：输入一个int整数输出描述：输出分解后的stringimport java.util.Scanner;public class Main { public stat
2022-05-12 11:38:33
438
原创 【java华为机试】HJ73 计算日期到天数转换
描述根据输入的日期，计算是这一年的第几天。保证年份为4位数且日期合法。进阶：时间复杂度：，空间复杂度：O(1)输入描述：输入一行，每行空格分割，分别是年，月，日输出描述：输出是这一年的第几天import java.util.Scanner;public class Main { public static void main(String[] args) { try (Scanner sc = new Scanner(System.in)) { whil.
2022-05-12 11:35:39
205
原创 【java华为机试】HJ62 查找输入整数二进制中1的个数
描述输入一个正整数，计算它在二进制下的1的个数。注意多组输入输出！！！！！！数据范围： 输入描述：输入一个整数输出描述：计算整数二进制中1的个数import java.util.Scanner;public class Main { public static void main(String[] args) { Scanner sc = new Scanner(System.in); while (sc.hasNext()) { int s = s
2022-05-12 11:30:38
191
原创 【java华为机试】HJ58 输入n个整数，输出其中最小的k个
描述输入n个整数，找出其中最小的k个整数并按升序输出本题有多组输入样例数据范围：1 \le n \le 1000 \1≤n≤1000，输入的整数满足1 \le val \le 10000 \1≤val≤10000输入描述：第一行输入两个整数n和k第二行输入一个整数数组输出描述：从小到大输出最小的k个整数，用空格分开。import java.util.Scanner;public class Main { public static void mai...
2022-05-11 16:03:26
337
原创 【java华为机试】HJ53 杨辉三角的变形
描述以上三角形的数阵，第一行只有一个数1，以下每行的每个数，是恰好是它上面的数、左上角数和右上角的数，3个数之和（如果不存在某个数，认为该数就是0）。求第n行第一个偶数出现的位置。如果没有偶数，则输出-1。例如输入3,则输出2，输入4则输出3，输入2则输出-1。数据范围：输入描述：输入一个int整数输出描述：输出返回的int值import java.util.Scanner;public class Main { public static void..
2022-05-11 16:02:16
187
原创 【java华为机试】HJ50 四则运算
描述输入一个表达式（用字符串表示），求这个表达式的值。保证字符串中的有效字符包括[‘0’-‘9’],‘+’,‘-’,‘*’,‘/’,‘(’，‘)’,‘[’,‘]’,‘{’,‘}’。且表达式一定合法。数据范围：表达式计算结果和过程中满足|val| \le 1000 \∣val∣≤1000，字符串长度满足1 \le n \le 1000 \1≤n≤1000输入描述：输入一个算术表达式输出描述：得到计算结果import java.util.*;publi...
2022-05-11 15:56:51
429
原创 【java华为机试】HJ46 截取字符串
描述输入一个字符串和一个整数 k ，截取字符串的前k个字符并输出数据范围：字符串长度满足 1 \le n \le 1000 \1≤n≤1000 ， 1 \le k \le n \1≤k≤n输入描述：1.输入待截取的字符串2.输入一个正整数k，代表截取的长度输出描述：截取后的字符串import java.util.Scanner;public class Main { public static void main(String[] args) { Scann
2022-05-11 15:55:39
268
原创 【java华为机试】HJ40 统计字符
描述输入一行字符，分别统计出包含英文字母、空格、数字和其它字符的个数。数据范围：输入的字符串长度满足1 \le n \le 1000 \1≤n≤1000输入描述：输入一行字符串，可以有空格输出描述：统计其中英文字符，空格字符，数字字符，其他字符的个数import java.util.Scanner;public class Main { public static void main(String[] args) { Scanner sc = new Scann..
2022-05-11 15:54:24
137
原创 【java华为机试】HJ38 求小球落地5次后所经历的路程和第5次反弹的高度
描述假设一个球从任意高度自由落下，每次落地后反跳回原高度的一半; 再落下, 求它在第5次落地时，共经历多少米?第5次反弹多高？数据范围：输入的小球初始高度满足 1 \le n \le 1000 \1≤n≤1000 ，且保证是一个整数输入描述：输入起始高度，int型输出描述：分别输出第5次落地时，共经过多少米以及第5次反弹多高。注意：你可以认为你输出保留六位或以上小数的结果可以通过此题。import java.util.Scanner;public class Main
2022-05-11 15:53:11
238
原创 【java华为机试】HJ37 统计每个月兔子的总数
描述有一种兔子，从出生后第3个月起每个月都生一只兔子，小兔子长到第三个月后每个月又生一只兔子。例子：假设一只兔子第3个月出生，那么它第5个月开始会每个月生一只兔子。一月的时候有一只兔子，假如兔子都不死，问第n个月的兔子总数为多少？数据范围：输入满足1 \le n \le 31 \1≤n≤31输入描述：输入一个int型整数表示第n个月输出描述：输出对应的兔子总数import java.util.Scanner;public class Main { pub..
2022-05-11 15:51:52
336
原创 【java华为机试】HJ35 蛇形矩阵
描述蛇形矩阵是由1开始的自然数依次排列成的一个矩阵上三角形。例如，当输入5时，应该输出的三角形为：136101525914481371211输入描述：输入正整数N（N不大于100）输出描述：输出一个N行的蛇形矩阵。import java.util.Scanner;public class Main { public static void main(String[] args) { Scanner sc = new S...
2022-05-11 15:50:14
311
原创 【java华为机试】HJ34 图片整理
描述Lily上课时使用字母数字图片教小朋友们学习英语单词，每次都需要把这些图片按照大小（ASCII码值从小到大）排列收好。请大家给Lily帮忙，通过代码解决。Lily使用的图片使用字符"A"到"Z"、"a"到"z"、"0"到"9"表示。数据范围：每组输入的字符串长度满足1 \le n \le 1000 \1≤n≤1000输入描述：一行，一个字符串，字符串中的每个字符表示一张Lily使用的图片。输出描述：Lily的所有图片按照从小到大的顺序输出import jav..
2022-05-11 14:54:28
178
原创 【java华为机试】HJ33 整数与IP地址间的转换
描述原理：ip地址的每段可以看成是一个0-255的整数，把每段拆分成一个二进制形式组合起来，然后把这个二进制数转变成一个长整数。举例：一个ip地址为10.0.3.193每段数字相对应的二进制数100000101000000000030000001119311000001组合起来即为：000010100000...
2022-05-11 14:51:39
354
原创 Excel房贷计算器
最近因为买房的时候，为了计算等额本金和等额本息有什么区别，写了以下excel计算房贷。不想看文章的可以直接从百度云取文件，输入利率、贷款额度和贷款期限就可以自动计算。 excel房贷计算器功能介绍 序号 excel文件名 作用 1 等额本金房贷计算器 用于计算商贷和公积金组合贷，等额本金的还款金额 2 等额本息房贷计算器 用于计算商贷和公积金组合贷，等额本息的还款金额 3 等额商本金公本息 用于计算商贷和公积金组合贷，统计商金公...
2022-05-10 17:07:56
2569
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人