![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
|----大数据
s740556472
这个作者很懒,什么都没留下…
展开
-
elasticsearch6.1.1单例初体验(虚拟机下安装)
环境一台linux虚拟机(centos7)此虚拟机安装好了JDK1.8(SUN公司的)下载最新的elasticsearch6.1.1踩坑之路1首先去官网下载:https://www.elastic.co/cn/downloads,我这里下载的是最新版,版本迭代很快,现在是6.1.1版本的。下载好tar包后随意找一个路径进行压缩,我这里是在/opt下创建的。解压好后:原创 2018-01-06 23:59:57 · 2080 阅读 · 0 评论 -
elasticsearch-head(elastics6.1.1)的安装
前言elasticsearch-head是一个界面化的集群操作和管理工具,可以对集群进行傻瓜式操作。在网上看到两种安装方式,一种是通过elasticsearch本身的插件集成进行安装(这种方式好像不适用新版,我并没有研究出来怎么安装。。。),还有一种是利用npm和nodejs进行安装启动,这种方式相当于独立的一个进行去发布了这个插件,而github中给出的安装方法也是这种,所以新版的elast原创 2018-01-07 17:10:24 · 7177 阅读 · 13 评论 -
【实时日志分析系列之】--------Storm本地Hello入门篇
原由 由于现在的运维工作越来越繁重,无论是哪种类型的公司,但凡是开发出来的系统随着时间的积累,后台日志会不断的积累,庞大,臃肿,而如何有效的利用好日志做好业务层运维,或者技术层运维逐渐被人们关注。在这样的业务背景下,本项目组在处长的提议下,也开始着手于这样的想法,本着做出一套实时日志业务分析系统来更高效的协助业务运维人员。 最近已经搞了半个月相关系统的知识,所以在此记录下,每个框架的d原创 2018-01-27 18:08:53 · 1144 阅读 · 0 评论 -
linux下无root权限,修改执行脚本启动storm的方法
报错$ ./bin/storm nimbusNeed python version > 2.6这句话的意思是你的python版本必须大于2.6,但是我手中没有root权限,此时该如何启动呢?修改启动脚本storm解决方案修改启动脚本storm即可,但是前提你需要在linux下安装好python3:看下初始的storm执行脚本文件内容:# STORM-2486:原创 2018-02-06 09:28:18 · 1724 阅读 · 1 评论 -
记一次storm异常(提交topology时发生,启动均无异常)--java.net.UnknownHostException
前言在搭建storm的生产环境集群的时候发生了一个怪事儿,主nimbus节点启动正常,无报错信息,2台supervisor启动正常,无报错信息,为了检测方便,还在主节点nimbus上启动了相应的ui。【问题来了】每当我提交topology的时候,提交拓扑时的信息没有报错,但是过了2s,查看supervisor.log时,发现两台机器都会报错,同时错误信息过后就会自己宕掉,杀掉进程。为了解决这个...原创 2018-02-12 10:55:19 · 6504 阅读 · 4 评论 -
storm IDEA maven 打相关依赖jar包---用于提交拓扑
前言storm 是通过jar包的形式发布到拓扑上去,将自己写好的项目打成jar,通过命令提交到storm集群上,记录下使用到的maven插件,可以将额外的相关jar包(例如elastic search的客户端jar包等…)与项目本身进行依赖,同时打进storm的拓扑jar包中。环境IDEA首先本文使用的是IDEA,因为有图形化界面所以很好操作。Maven引入下面的依赖:...原创 2018-02-24 15:29:19 · 1974 阅读 · 0 评论 -
【实时日志分析系列之】-------- 技术选型篇
前言大概是节前到节后的小2个月时间,已经把实时日志分析这一套小架子搭了起来,并且已经可以看到成果,现在继续利用业余时间把这个系列总结记录一下。逻辑架构图逻辑架构图如下:一图胜过千言万语,来看下实时日志分析的技术选型以及整个流程。其实这一套大部分都是组件,而整套组件中用到的都是Elastic Stack中的组件。首先采用了filebeat ( elastic st...原创 2018-03-24 19:50:35 · 1534 阅读 · 0 评论 -
【实时日志分析系列之】-------- filebeat篇
前言logstash本身就可以具有文件数据采集的功能了,为什么还需要在前面加一层filebeat?理由如下: logstash是使用Java编写,插件是使用jruby编写,对机器的资源要求会比较高,在logstash中做数据的逻辑过滤已经很吃服务器性能了(即logstash 具有filter功能,能过滤分析日志)。为了分摊当前服务器cpu资源,所以将filebeat作为单独组件,放在待收集日...原创 2018-05-03 18:21:52 · 4617 阅读 · 1 评论 -
记一次hadoop Connection refused: no further information排错
前言music:这两天在研究hadoop的hdfs,用本地java api远程调用hdfs时出现了连接被拒绝的问题,具体异常如下:Caused by: java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConne...原创 2018-07-28 18:39:35 · 133714 阅读 · 24 评论