- 博客(47)
- 资源 (10)
- 收藏
- 关注
原创 elasticsearch--8.4.3 报错checksum failed (hardware problem?)
有关于这个错误,事情是这样的,用ELK采集日志,每次在Elasticsearch存储到三百万数据左右就开始报shard错误,然后检查日志就发现有个hardware problem?的异常猥猥琐琐躲在日志里。按照网上论坛说法换过硬盘,然而并不起作用,最后发现和操作系统有关。一开始是在ubuntu22的桌面版部署的elk服务,后面换了ubuntu server 18 部署,完美解决了问题。
2022-11-04 09:49:38
818
1
原创 使用py2neo操作neo4j
from py2neo import Graph, Node, Relationship, NodeMatchergraph = Graph('bolt://192.168.0.210:7687', auth=("neo4j", "neo4j"))security_name = graph.run("MATCH (f:Fund) RETURN f.SecurityName").to_data_frame()print(security_name)######################..
2021-10-14 18:28:46
504
原创 node_exporter+prometheus+grafana实现clickhouse及主机监控
1.从github下载 prometheus及相关安装包wget https://github.com/prometheus/prometheus/releases/download/v2.27.1/prometheus-2.27.1.linux-amd64.tar.gzwget https://github.com/prometheus/alertmanager/releases/download/v0.22.2/alertmanager-0.22.2.linux-amd64.tar.gzwg
2021-06-11 14:46:17
611
1
原创 Windows 使用rsync同步数据
Windows 使用rsync同步数据首先在windows建立一个rsync的专用账户,并设置好密码到下载站下载win版rsync的服务端和客户端,网址如下https://www.cr173.com/soft/110806.html
2021-03-09 19:22:49
6240
原创 通过python监控多台服务器信息并使用腾讯企业邮箱发送
使用python代码获取多台服务器信息,要求使用html形式发送表格,适用验证版本(ubuntu16、ubuntu18)ubuntu14版本top输出信息有些差异,此代码不适用。import smtplibfrom email.header import Headerfrom email.mime.text import MIMETextimport paramiko as paramikoimport multiprocessing.dummy as mpclass Server
2020-11-23 14:11:04
625
2
原创 logstash内存缓慢增长直到内存溢出
起因是这样的,logstash突然出现内存上涨而没有停下来,由于是进行日志采集用的,可以容忍部分数据丢失。1. 出现这种情况,首先看下日志,发现似乎是jvm内存不够用,于是调整jvm大小,重新启动logstash如果这样就解决了,那,是不可能的。观察一段时间后,发现内存还是在缓涨,最后又挂了。2. 考虑是否是elasticsearch的写入瓶颈修改es配置:indices.memory.index_buffer_size: 20%indices.memory.min_index_buf
2020-09-22 16:28:43
4180
3
原创 redis连接错误:ERR max number of clients reached
事情呢,是这样的。早上突然看到反馈说redis连接异常,就是这个:max number of clients reached。问题很显然就是redis连接数超了,设置一下最大连接数就好了。1.登录redis服务器,查看下最大连接数 CONFIG GET maxclients2. 看下当前连接数 INFO clients 这里的3877是由于停了一小部分程序,减少了redis连接,否则命令行登录时也会显示连接超过最大值3.既然这个数目不够,那就加呗 ...
2020-09-02 14:48:52
11560
原创 k8s-StorageClass的动态存储
环境:ubuntu16.04 + k8s-1.15 + nfs存储节点为了满足用户动态存储供应需求,使用StorageClass首先,在ip为192.168.69.132的机器上部署nfs服务/etc/exports 配置文件如下:/data/v6 *(rw,sync,no_subtree_check)/data/v5 *(rw,sync,no_subtree_check)/data/v4 *(rw,sync,no_subtree_check)/data/v3 *(rw,sync,n
2020-07-23 13:43:13
996
原创 宿主机上对docker容器内的进程等操作
1. docker top [容器名|容器ID] docker top niop-202006112. docker exec[容器名|容器ID] ps -ef docker exec niop-20200611 ps -ef3. docker exec [容器名|容器ID] ps -ef | grep '进程名' | awk '{print $2}' | xargs docker exec [容器名|容器ID] kill -9 docker e...
2020-06-11 14:50:30
569
原创 基于k8s部署jenkins
默认docker及k8s环境已经准备好1. 从dockerHub拉取tomcat镜像,不指定镜像标签默认拉取最新镜像 docker pull tomcat2. 在目录下创建dockerFile文件,名称为tomcat_dockerfile,同时在此文件夹准备好jenkins.war tomcat_dockerfile内容为: FROM tomcat:latest ADD jenkin...
2020-05-09 14:30:56
1874
原创 Logstash使用grok表达式解析自定义日志
grok表达式解析自定义日志格式的完整例子好像不多,所以贴一下以供参考:(key和sign已做删减,各位大佬不要搞事情...)
2019-05-07 18:30:30
3281
原创 Elasticsearch5.4.3与Spring集成出现的问题
错误一:IllegalArgumentException: Could not resolve placeholder 'jdbc.driverClassName' in string value "${...}"出现这个问题是因为我在配置文件中使用了多个<context:property-placeholder>applicationContext.xml中: <cont...
2018-05-31 15:57:20
857
原创 Logstash通过logstash-input-jdbc实现mysql增量导入ES
环境:Ubuntu16.04、jdk1.8u77、elasticsearch5.4.3、logstash5.4.3、kibana5.4.3ELK的安装就省略了,自行百度(开箱即用)首先,安装gemsudo apt-get install gem把源替换成淘宝的源gem sources --add https://ruby.taobao.org/ --remove https://rubygems....
2018-05-21 20:28:51
841
1
原创 MongoDB聚合查询(Aggregate)练习笔记
由于项目需要使用到MongoDB,花了一些时间来练习Mongo的聚合操作,实际项目中是使用Spring-data/mongodb,这里先写sql。整个练习是基于某博主的一个Mongodb练习小项目,其Collection文档结构如下:{ "_id" : ObjectId("5af2e8f2064079ef797e22a7"), "title" : "title_10", "url...
2018-05-14 20:56:27
1704
原创 elasticsearch5.4.2 单机双节点配置
环境详情:centOS7.2 1核1G(这个配置是......低了,请坐下)elasticsearch5.4.2kibana5.4.2首先解压两个ES,安装Kibana,可通过Kibana正常访问后进行下一步上面几个参数意义:cluster_name,集群名是elasticsearch;状态是yellow,表示primary_shards是正常的,但是replica shard未正常工作,此时只启...
2018-02-16 15:02:02
482
原创 配置Kibina公网访问 启动时出现[fatal] Error: listen EADDRNOTAVAIL kibina
在测试服务器上搭了Elasticsearch5.4的环境,安装Kibana时为了图方便想直接在公网访问(不安全)首先需要在阿里云上配置安全组访问规则,开放需要访问的端口对Kibana的配置如下:编辑/config下的kibana.yml开放server.port: 5601server.host: "ip"elasticsearch.url: "http://ip:9200"这三项配置,其中的ip...
2018-02-15 15:04:11
3423
原创 rabbitMQ在centOS7上的安装
一、安装erlang安装依赖环境yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel unixODBC-develwget http://erlang.org/download/otp_src_19.0.tar.gz解压: tar -xvzf otp_src_19.0.tar.gz配置./config
2018-01-18 22:08:09
553
原创 不带端口号和项目名的域名访问
带端口和项目名称的访问方式如下: www.xxx.com:8080/项目名纯域名访问解决方法: 在服务器的conf目录下找到server.xml 将访问端口改为浏览器默认访问端口80 connectionTimeout="20000" redirectPort="8443" />并加上如
2017-11-14 22:43:55
5742
1
原创 CentOS7.x中mysql的安装
上一次在远程服务器上安装mysql是很久以前的事儿了,当时好像是centos6.x。虽然记得似乎有点儿麻烦,但没困这么久,所以写篇博客Mark一下。首先登陆远程服务器,然后在远程服务器使用wget https://cdn.mysql.com//Downloads/MySQL-5.6/MySQL-5.6.38-1.el7.x86_64.rpm-bundle.tar 命令下载mysql的tar包。
2017-11-14 13:08:28
309
原创 tomcat在eclipse中的镜像映射
这两天遇到一个比较难搞的问题:本来运行得好好的Tomcat服务器突然就挂了... wtf???一直以为Tomcat在发布项目的时候就是把项目发布到了webapp目录下,然而,并不是这样的。eclipse在发布项目的时候是把本地的Tomcat服务器拷贝了一份,在拷贝的部分发布的如果在本地修改了tomcat的server.xml文件的端口号,需要在项目存放的文件夹下的 EclipseP
2017-10-30 19:41:36
702
原创 cvc-complex-type.2.4.c: ...is strict, ...declaration found element"context:property-placeholder"
GitHub上的项目,导入两次。第一次把问题解决了,然后第二次有傻傻地给忘了,Mark一下在pom.xml中加入ibatis依赖如下: org.apache.ibatis ibatis-core 3.0当然,在Stack Overflow上看到了类似错误,其原因与解决方法如下:You have this:xmlns:mvc=
2017-10-13 21:43:15
297
原创 eclipse A .project file already exists in directory
从GitHub上导入项目时突然无法导入,报错如下:eclipse A .project file already exists in directory然后我把工作空间中的整个项目全部删掉,重新导入,还是存在这种问题Stack Overflow上的解决方法如下:You need to open up the Project Explorer view
2017-09-26 11:32:46
17259
8
原创 原生JS实现图片的轮流播放
网页展示中常用到图片的轮流播放,这里使用了四张长图来进行图片轮放,下面是代码:f7.html MyProject srh f7.css.top_div{ width
2017-09-08 23:34:01
2962
原创 elasticsearch与Lucene相关介绍
Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎,它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于R
2017-08-20 21:31:29
5783
转载 URLClassLoader使用方法和实例
1、首先了解下Java几个加载器的基本原理: Java 中的类加载器大致可以分成两类,一类是系统提供的,另外一类则是由 Java 应用开发人员编写的。系统提供的类加载器主要有下面三个: 引导类加载器(bootstrap class loader):它用来加载 Java 的核心库,是用原生代码来实现的,并不继承自 java.lang.ClassLoader。
2017-07-18 17:04:51
748
原创 Maven工程大量包缺失或冲突
之前遇到的导入Maven工程出现大量包的缺失与冲突问题,现在只能大概记录一下,留个思路。因为嫌官方给的库地址下载速度太慢,所以把settings.xml里的地址改为了阿里的源,然后我在pom.xml中又配置了公司的本地库。然后就导致了这种大量缺包和包冲突的问题,最后把.m2文件下的文件都干掉(配置的settings.xml文件就在这个下面),然后重新编译就正常了。以前偷懒不写博客,现在好多
2017-07-18 14:51:42
364
原创 java.lang.ClassNotFoundException: org.apache.commons.beanutils.DynaBean
项目报错:java.lang.ClassNotFoundException: org.apache.commons.beanutils.DynaBean解决方法:在pom.xml中加入如下依赖: commons-beanutils commons-beanutils 1.8
2017-07-18 14:22:26
13911
1
原创 将日志中的错误信息输出到文件中
这是一个Taskpublic static void main(String[] args) throws IOException { EntityLinkWordMegerBolt csb = new EntityLinkWordMegerBolt(); FindIterable documents = BUnit.readInputUnitStream(); File file =n
2017-07-04 20:07:01
1469
原创 Maven报错:Missing artifact jdk.tools:jdk.tools:jar:1.8
从git上导入项目到eclipse中,结果出现如下错误:解决办法:将 ${JAVA_HOME}/lib/tools.jar 替换成:${java.home}/../lib/tools.jar 即可
2017-07-03 13:38:30
599
原创 Solr初步探索(二)
Solr5之后内置了jetty作为服务器,可以自行启动。默认端口是8983这里参考网上的Java连接solr代码(做了一些小改动)import org.apache.solr.client.solrj.SolrQuery;import org.apache.solr.client.solrj.SolrServer;import org.apache.solr.client.solrj.
2017-06-29 15:10:20
263
原创 Solr初步探索(一)
由于任务需求要用到Solr,所以在对Solr使用做探究运行环境:centOS6.5Solr版本:5.5.2准备好solr5.2.2的安装包,下面开始安装:1. tar -zxvf solr-5.5.2.tgz2.cd solr-5.5.2/bin; 执行命令:./solr start -e cloud -noprompt可以看到Welcom
2017-06-29 13:55:41
321
转载 Elasticsearch5.0 安装问题集锦
elasticsearch 5.0 安装过程中遇到了一些问题,通过查找资料几乎都解决掉了,这里简单记录一下 ,供以后查阅参考,也希望可以帮助遇到同样问题的你。问题一:警告提示[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: java.lang.Unsupported
2017-06-25 22:21:59
230
原创 Eclipse导入Maven工程的乱码问题解决
eclipse从本地导入的Maven工程出现乱码如图所示:打开Windows -> Preferences -> General -> Content Types ->Text ->Java Source File可以看到默认是用GBK编码的,将其改为UTF-8并Update,问题解决。
2017-06-22 12:57:29
1846
4
转载 常用的正则表达式
一、校验数字的表达式数字:^[0-9]*$n位的数字:^\d{n}$至少n位的数字:^\d{n,}$m-n位的数字:^\d{m,n}$零和非零开头的数字:^(0|[1-9][0-9]*)$非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(.[0-9]{1,2})?$带1-2位小数的正数或负数:^(\-)?\d+(\.\d{1,2})?$正数、负数、和小数:^(\-|\+)?\
2017-06-21 16:11:18
166
原创 Eclipse:A cycle was detected in the build path of project ‘XXX’
从码云上Download了一个项目,以maven工程导入eclipse,然后就是一大片的error。A cycle was detected in the build path of project 'XXX'. The cycle consists of projects {...} XXX Build path Build Path Problem.一开始以为是po
2017-06-21 15:24:46
1084
原创 基于kali Linux启动盘绕过Windows密码的启动方式
1.选择force model启动2.cd 入SAM文件所在文件夹3.chntpw工具命令4.方式选择clean password(清除密码进入,也可以使administrator权限开放,增加用户组的方式暂不可行)5.quit 并保存设置6.此方法在win7系统下亲测有效,win8系统环境下首次测试失败。失败原因:可能微软封堵了漏洞?路径转
2017-06-20 16:47:48
1222
原创 制作kali persistence U盘
把之前写在空间的文章搬运过来......1.用diskimg……软件把镜像写入U盘,写入前将U盘格式化为fat322.从U盘启动到kali(L-U-P)系统……3.从控制台窗口输入:gparted,回车4.后面的用图(写个教程都懒得这么清新脱俗,也是没sei了→_→)参考网上教程,特别注意的重点给出5.额(⊙o
2017-06-20 16:34:44
664
rabbitmq-server-3.7.2-1.el7.noarch.rpm
2018-01-18
myeclipse10破解注册机
2016-10-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人