- 博客(47)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 elasticsearch--8.4.3 报错checksum failed (hardware problem?)
有关于这个错误，事情是这样的，用ELK采集日志，每次在Elasticsearch存储到三百万数据左右就开始报shard错误，然后检查日志就发现有个hardware problem?的异常猥猥琐琐躲在日志里。按照网上论坛说法换过硬盘，然而并不起作用，最后发现和操作系统有关。一开始是在ubuntu22的桌面版部署的elk服务，后面换了ubuntu server 18 部署，完美解决了问题。
2022-11-04 09:49:38
818
1
原创 使用py2neo操作neo4j
from py2neo import Graph, Node, Relationship, NodeMatchergraph = Graph('bolt://192.168.0.210:7687', auth=("neo4j", "neo4j"))security_name = graph.run("MATCH (f:Fund) RETURN f.SecurityName").to_data_frame()print(security_name)######################..
2021-10-14 18:28:46
504
原创 node_exporter+prometheus+grafana实现clickhouse及主机监控
1.从github下载 prometheus及相关安装包wget https://github.com/prometheus/prometheus/releases/download/v2.27.1/prometheus-2.27.1.linux-amd64.tar.gzwget https://github.com/prometheus/alertmanager/releases/download/v0.22.2/alertmanager-0.22.2.linux-amd64.tar.gzwg
2021-06-11 14:46:17
611
1
原创 Windows 使用rsync同步数据
Windows 使用rsync同步数据首先在windows建立一个rsync的专用账户，并设置好密码到下载站下载win版rsync的服务端和客户端，网址如下https://www.cr173.com/soft/110806.html
2021-03-09 19:22:49
6240
原创 通过python监控多台服务器信息并使用腾讯企业邮箱发送
使用python代码获取多台服务器信息，要求使用html形式发送表格，适用验证版本（ubuntu16、ubuntu18）ubuntu14版本top输出信息有些差异，此代码不适用。import smtplibfrom email.header import Headerfrom email.mime.text import MIMETextimport paramiko as paramikoimport multiprocessing.dummy as mpclass Server
2020-11-23 14:11:04
625
2
原创 logstash内存缓慢增长直到内存溢出
起因是这样的，logstash突然出现内存上涨而没有停下来，由于是进行日志采集用的，可以容忍部分数据丢失。1. 出现这种情况，首先看下日志，发现似乎是jvm内存不够用，于是调整jvm大小，重新启动logstash如果这样就解决了，那，是不可能的。观察一段时间后，发现内存还是在缓涨，最后又挂了。2. 考虑是否是elasticsearch的写入瓶颈修改es配置：indices.memory.index_buffer_size: 20%indices.memory.min_index_buf
2020-09-22 16:28:43
4180
3
原创 redis连接错误：ERR max number of clients reached
事情呢，是这样的。早上突然看到反馈说redis连接异常，就是这个：max number of clients reached。问题很显然就是redis连接数超了，设置一下最大连接数就好了。1.登录redis服务器，查看下最大连接数 CONFIG GET maxclients2. 看下当前连接数 INFO clients 这里的3877是由于停了一小部分程序，减少了redis连接，否则命令行登录时也会显示连接超过最大值3.既然这个数目不够，那就加呗 ...
2020-09-02 14:48:52
11560
原创 k8s-StorageClass的动态存储
环境：ubuntu16.04 + k8s-1.15 + nfs存储节点为了满足用户动态存储供应需求，使用StorageClass首先，在ip为192.168.69.132的机器上部署nfs服务/etc/exports 配置文件如下：/data/v6 *(rw,sync,no_subtree_check)/data/v5 *(rw,sync,no_subtree_check)/data/v4 *(rw,sync,no_subtree_check)/data/v3 *(rw,sync,n
2020-07-23 13:43:13
996
原创 宿主机上对docker容器内的进程等操作
1. docker top [容器名|容器ID] docker top niop-202006112. docker exec[容器名|容器ID] ps -ef docker exec niop-20200611 ps -ef3. docker exec [容器名|容器ID] ps -ef | grep '进程名' | awk '{print $2}' | xargs docker exec [容器名|容器ID] kill -9 docker e...
2020-06-11 14:50:30
569
原创 基于k8s部署jenkins
默认docker及k8s环境已经准备好1. 从dockerHub拉取tomcat镜像，不指定镜像标签默认拉取最新镜像 docker pull tomcat2. 在目录下创建dockerFile文件,名称为tomcat_dockerfile，同时在此文件夹准备好jenkins.war tomcat_dockerfile内容为： FROM tomcat:latest ADD jenkin...
2020-05-09 14:30:56
1874
原创 Logstash使用grok表达式解析自定义日志
grok表达式解析自定义日志格式的完整例子好像不多,所以贴一下以供参考:(key和sign已做删减,各位大佬不要搞事情...)
2019-05-07 18:30:30
3281
原创 Elasticsearch5.4.3与Spring集成出现的问题
错误一：IllegalArgumentException: Could not resolve placeholder 'jdbc.driverClassName' in string value "${...}"出现这个问题是因为我在配置文件中使用了多个<context:property-placeholder>applicationContext.xml中： <cont...
2018-05-31 15:57:20
857
原创 Logstash通过logstash-input-jdbc实现mysql增量导入ES
环境：Ubuntu16.04、jdk1.8u77、elasticsearch5.4.3、logstash5.4.3、kibana5.4.3ELK的安装就省略了，自行百度（开箱即用）首先，安装gemsudo apt-get install gem把源替换成淘宝的源gem sources --add https://ruby.taobao.org/ --remove https://rubygems....
2018-05-21 20:28:51
841
1
原创 MongoDB聚合查询（Aggregate）练习笔记
由于项目需要使用到MongoDB，花了一些时间来练习Mongo的聚合操作，实际项目中是使用Spring-data/mongodb，这里先写sql。整个练习是基于某博主的一个Mongodb练习小项目，其Collection文档结构如下：{ "_id" : ObjectId("5af2e8f2064079ef797e22a7"), "title" : "title_10", "url...
2018-05-14 20:56:27
1704
原创 elasticsearch5.4.2 单机双节点配置
环境详情：centOS7.2 1核1G（这个配置是......低了，请坐下）elasticsearch5.4.2kibana5.4.2首先解压两个ES，安装Kibana，可通过Kibana正常访问后进行下一步上面几个参数意义：cluster_name，集群名是elasticsearch；状态是yellow，表示primary_shards是正常的，但是replica shard未正常工作，此时只启...
2018-02-16 15:02:02
482
原创 配置Kibina公网访问 启动时出现[fatal] Error: listen EADDRNOTAVAIL kibina
在测试服务器上搭了Elasticsearch5.4的环境，安装Kibana时为了图方便想直接在公网访问（不安全）首先需要在阿里云上配置安全组访问规则，开放需要访问的端口对Kibana的配置如下：编辑/config下的kibana.yml开放server.port: 5601server.host: "ip"elasticsearch.url: "http://ip:9200"这三项配置，其中的ip...
2018-02-15 15:04:11
3423
原创 rabbitMQ在centOS7上的安装
一、安装erlang安装依赖环境yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel unixODBC-develwget http://erlang.org/download/otp_src_19.0.tar.gz解压： tar -xvzf otp_src_19.0.tar.gz配置./config
2018-01-18 22:08:09
553
原创 不带端口号和项目名的域名访问
带端口和项目名称的访问方式如下： www.xxx.com:8080/项目名纯域名访问解决方法： 在服务器的conf目录下找到server.xml 将访问端口改为浏览器默认访问端口80 connectionTimeout="20000" redirectPort="8443" />并加上如
2017-11-14 22:43:55
5742
1
原创 CentOS7.x中mysql的安装
上一次在远程服务器上安装mysql是很久以前的事儿了，当时好像是centos6.x。虽然记得似乎有点儿麻烦，但没困这么久，所以写篇博客Mark一下。首先登陆远程服务器，然后在远程服务器使用wget https://cdn.mysql.com//Downloads/MySQL-5.6/MySQL-5.6.38-1.el7.x86_64.rpm-bundle.tar 命令下载mysql的tar包。
2017-11-14 13:08:28
309
原创 tomcat在eclipse中的镜像映射
这两天遇到一个比较难搞的问题：本来运行得好好的Tomcat服务器突然就挂了... wtf???一直以为Tomcat在发布项目的时候就是把项目发布到了webapp目录下，然而，并不是这样的。eclipse在发布项目的时候是把本地的Tomcat服务器拷贝了一份，在拷贝的部分发布的如果在本地修改了tomcat的server.xml文件的端口号，需要在项目存放的文件夹下的 EclipseP
2017-10-30 19:41:36
702
原创 cvc-complex-type.2.4.c: ...is strict, ...declaration found element"context:property-placeholder"
GitHub上的项目，导入两次。第一次把问题解决了，然后第二次有傻傻地给忘了，Mark一下在pom.xml中加入ibatis依赖如下： org.apache.ibatis ibatis-core 3.0当然，在Stack Overflow上看到了类似错误，其原因与解决方法如下：You have this:xmlns:mvc=
2017-10-13 21:43:15
297
原创 eclipse A .project file already exists in directory
从GitHub上导入项目时突然无法导入，报错如下：eclipse A .project file already exists in directory然后我把工作空间中的整个项目全部删掉，重新导入，还是存在这种问题Stack Overflow上的解决方法如下：You need to open up the Project Explorer view
2017-09-26 11:32:46
17259
8
原创 原生JS实现图片的轮流播放
网页展示中常用到图片的轮流播放，这里使用了四张长图来进行图片轮放，下面是代码：f7.html MyProject srh f7.css.top_div{ width
2017-09-08 23:34:01
2962
原创 elasticsearch与Lucene相关介绍
Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于R
2017-08-20 21:31:29
5783
转载 URLClassLoader使用方法和实例
1、首先了解下Java几个加载器的基本原理： Java 中的类加载器大致可以分成两类，一类是系统提供的，另外一类则是由 Java 应用开发人员编写的。系统提供的类加载器主要有下面三个： 引导类加载器（bootstrap class loader）：它用来加载 Java 的核心库，是用原生代码来实现的，并不继承自 java.lang.ClassLoader。
2017-07-18 17:04:51
748
原创 Maven工程大量包缺失或冲突
之前遇到的导入Maven工程出现大量包的缺失与冲突问题，现在只能大概记录一下，留个思路。因为嫌官方给的库地址下载速度太慢，所以把settings.xml里的地址改为了阿里的源，然后我在pom.xml中又配置了公司的本地库。然后就导致了这种大量缺包和包冲突的问题，最后把.m2文件下的文件都干掉（配置的settings.xml文件就在这个下面），然后重新编译就正常了。以前偷懒不写博客，现在好多
2017-07-18 14:51:42
364
原创 java.lang.ClassNotFoundException: org.apache.commons.beanutils.DynaBean
项目报错：java.lang.ClassNotFoundException: org.apache.commons.beanutils.DynaBean解决方法：在pom.xml中加入如下依赖： commons-beanutils commons-beanutils 1.8
2017-07-18 14:22:26
13911
1
原创 将日志中的错误信息输出到文件中
这是一个Taskpublic static void main(String[] args) throws IOException { EntityLinkWordMegerBolt csb = new EntityLinkWordMegerBolt(); FindIterable documents = BUnit.readInputUnitStream(); File file =n
2017-07-04 20:07:01
1469
原创 Maven报错：Missing artifact jdk.tools:jdk.tools:jar:1.8
从git上导入项目到eclipse中，结果出现如下错误：解决办法：将 ${JAVA_HOME}/lib/tools.jar 替换成：${java.home}/../lib/tools.jar 即可
2017-07-03 13:38:30
599
原创 Solr初步探索（二）
Solr5之后内置了jetty作为服务器,可以自行启动。默认端口是8983这里参考网上的Java连接solr代码（做了一些小改动）import org.apache.solr.client.solrj.SolrQuery;import org.apache.solr.client.solrj.SolrServer;import org.apache.solr.client.solrj.
2017-06-29 15:10:20
263
原创 Solr初步探索（一）
由于任务需求要用到Solr，所以在对Solr使用做探究运行环境：centOS6.5Solr版本：5.5.2准备好solr5.2.2的安装包，下面开始安装：1. tar -zxvf solr-5.5.2.tgz2.cd solr-5.5.2/bin; 执行命令：./solr start -e cloud -noprompt可以看到Welcom
2017-06-29 13:55:41
321
转载 Elasticsearch5.0 安装问题集锦
elasticsearch 5.0 安装过程中遇到了一些问题，通过查找资料几乎都解决掉了，这里简单记录一下 ，供以后查阅参考，也希望可以帮助遇到同样问题的你。问题一：警告提示[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: java.lang.Unsupported
2017-06-25 22:21:59
230
原创 Eclipse导入Maven工程的乱码问题解决
eclipse从本地导入的Maven工程出现乱码如图所示：打开Windows -> Preferences -> General -> Content Types ->Text ->Java Source File可以看到默认是用GBK编码的，将其改为UTF-8并Update，问题解决。
2017-06-22 12:57:29
1846
4
转载 常用的正则表达式
一、校验数字的表达式数字：^[0-9]*$n位的数字：^\d{n}$至少n位的数字：^\d{n,}$m-n位的数字：^\d{m,n}$零和非零开头的数字：^(0|[1-9][0-9]*)$非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$正数、负数、和小数：^(\-|\+)?\
2017-06-21 16:11:18
166
原创 Eclipse：A cycle was detected in the build path of project ‘XXX’
从码云上Download了一个项目，以maven工程导入eclipse，然后就是一大片的error。A cycle was detected in the build path of project 'XXX'. The cycle consists of projects {...} XXX Build path Build Path Problem.一开始以为是po
2017-06-21 15:24:46
1084
原创 基于kali Linux启动盘绕过Windows密码的启动方式
1.选择force model启动2.cd 入SAM文件所在文件夹3.chntpw工具命令4.方式选择clean password（清除密码进入，也可以使administrator权限开放，增加用户组的方式暂不可行）5.quit 并保存设置6.此方法在win7系统下亲测有效，win8系统环境下首次测试失败。失败原因:可能微软封堵了漏洞？路径转
2017-06-20 16:47:48
1222
原创 制作kali persistence U盘
把之前写在空间的文章搬运过来......1.用diskimg……软件把镜像写入U盘，写入前将U盘格式化为fat322.从U盘启动到kali（L-U-P）系统……3.从控制台窗口输入:gparted，回车4.后面的用图（写个教程都懒得这么清新脱俗，也是没sei了→_→）参考网上教程，特别注意的重点给出5.额(⊙o
2017-06-20 16:34:44
664
rabbitmq-server-3.7.2-1.el7.noarch.rpm
2018-01-18
myeclipse10破解注册机
2016-10-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人