- 博客(14)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
转载 Kibana介绍、安装和使用
ES之Kibana下面就Kibana对ES的查询监控作介绍,就是常提到的大数据日志处理组件ELK里的K。 什么是Kibana?现引用园友的一段对此的介绍,个人觉得比较全。 Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。 Kibana让海量数据更容...
2018-06-28 15:20:12 176479 12
原创 @Pointcut的使用
Pointcut 是指那些方法需要被执行"AOP",是由"Pointcut Expression"来描述的.Pointcut可以有下列方式来定义或者通过&& || 和!的方式进行组合.args()@args()execution()this()target()@target()within()@within()@annotation其中execution 是用的最多的,其格式为:...
2018-06-28 13:22:02 11873 1
转载 Quartz任务调度简介
废话的前言以前凭借年轻,凡事都靠脑记。现在工作几年后发现,很多以前看过、用过的东西,再次拿起的时候总觉得记不牢靠。"好记性不如烂笔头"应该是某位上了年纪的大叔的切肤之痛(仅次于上了年纪的难言之瘾)。我觉得这事得怪怪中国的应试教育,中国的考试方式就是要求把脑袋当数据库,以前中学那点知识,确实还能装得下。但现在所需的知识量再一次性装入大脑,就是内存溢出的节奏。另,再相信什么人脑只开发5%的蠢话...
2018-06-26 16:17:32 201
转载 支持SQL Elasticsearch6.3 新特性概览
1、Elasticsearch6.3 特性概览1.1、支持Sql像操作Mysql一样使用Elasticsearch,缩减DSL的学习成本,更多人爱上ES的特性。这样我们就可以减少 DSL 的学习成本,这个 SQL 模块是属于 X-Pack 的一部分。POST /_xpack/sql?format=txt{ "query": "SELECT * FROM library WHERE rel...
2018-06-22 18:19:54 3179
原创 Elasticsearch之Date Histogram聚合
Elasticsearch聚合 之 Date Histogram聚合Elasticsearch的聚合主要分成两大类:metric和bucket。本篇还是来介绍Bucket聚合中的常用聚合——date histogram.参考:官方文档用法Date histogram的用法与histogram差不多,只不过区间上支持了日期的表达式。{"aggs":{ "articles_over_time...
2018-06-22 14:11:53 3306
转载 ElasticSearch 索引查询—详细介绍
我们通常用catAPI:https://www.elastic.co/guide/en/elasticsearch/reference/current/cat.html 检测集群是否健康。 确保9200端口号可用: curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. ...
2018-06-21 19:22:25 12933
转载 HUE—大数据web管理器
HUEHue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。HUE官方地址http://gethue.com/默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为...
2018-06-15 15:24:25 42998
转载 ETL工具Kettle
转载自 https://www.cnblogs.com/SunHuaJ/p/7593239.htmlETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环也是工作量较大的一块。当前知道的ETL工具有informatica, datastage,kettle,ETL Automation...
2018-06-13 10:10:57 1243
原创 Rancher安装和添加主机
Rancher安装首先 得有docker,安装和部署 参考:https://blog.csdn.net/qq_18769269/article/details/806188231、Rancher service 安装在docker的基础上启动rancher服务器,Rancher 服务器是一个 Docker image,所以其软件本身不需要安装,只需要执行 Docker 命令...
2018-06-08 10:07:58 8416 6
原创 docker的安装和配置国内镜像源
Docker安装环境:ubuntu16.041、安装目前使用的版本为17.09在每一台服务器上面执行 curlhttps://releases.rancher.com/install-docker/17.09.sh | sh 2、检查安装成功否docker --version显示如下,安装成功 Docker version 17....
2018-06-08 10:01:56 3887
原创 MySQL按年、月、日、季度 分组统计
原始数据:SQL语句:(按年月分组,统计次数) select count(1),CONCAT(year(整改完成日期),'-',month(整改完成日期)) as datetest from t_qyyhb_newWHERE `整改完成日期` BETWEEN '2013-01-02' AND '2018-05-30' group by datetest;其中 C...
2018-06-07 18:07:36 4758 1
原创 Linux设置时间同步服务(ntp) 【详细】
1. 首先安装ntp服务(ubuntu 16.02)在linux的root用户下执行以下命令yum install ntp –y(如果是ubuntu系统则执行 apt install yum ntp) 2. 修改ntp配置文件(server)我们需要在linux集群中找到一台作为ntp服务器的server,其他机器则为ntp的client,因此,在server服务器上修改一下配置文件执行 vim ...
2018-06-07 14:43:32 23409
原创 [Mongoose E11000 duplicate key error index]解决办法
[Mongoose E11000 duplicate key error index:]用java代码,修改MongoDB里面的数据时候报错,说_id这个键重复,但是明明只有一个啊?怎么会重复。于是乎,我把主键字段 _id 删除,dbObject.removeField("_id") 。然后导入时候,让系统它自己建默认主键。发现还没有解决。。发现只导入了一个,仔细一看代码插入的...
2018-06-06 11:58:47 7576
原创 Spark2.X 集群安装(原生版详细)
Spark集群安装搭建最简单的三台主机的集群。hadoop001 Master hadoop002 Workerhadoop003 Worker详细步骤如下。1.下载spark安装包 下载地址spark官网:http://spark.apache.org/downloads.htmlspark-2.0.2-bin-hadoop2.7版本. 2.规划安装目录/opt/soft...
2018-06-02 14:26:08 826
求帮助运行eclipse出现java.lang.NoClassDefFoundError
2017-05-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人