自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大JAVA解决方案

数据科学

转载 利用shell脚本监控linux中CPU、内存和磁盘利用率。(centos7)

利用shell脚本监控linux中CPU、内存和磁盘利用率。(centos7) 2017年11月21日 11:42:00 阅读数:182   这篇博客中所写的,在实际工作中并没有什么卵用,工作中并不会用到这种脚本去监控。不过自己写一遍,可以让初学者对CPU、内存、磁盘等一些基础知识和基础命令更...

2018-08-31 09:21:29 3668 1

转载 linux监控cpu和内存使用情况,发送邮件

linux监控cpu和内存使用情况,发送邮件 2018年08月01日 16:06:45 阅读数:66更多 个人分类: Linux 目录 1.整体架构图 2.代码 3.邮件发送过慢的问题 这几天老大安排做linux服务器的工具,又接了几个巨坑,不过还是get新技能点。 1.整体架构图...

2018-08-31 08:51:32 627 0

转载 Ambari 监控信息的提取

Ambari 监控信息的提取 2017年09月21日 15:14:29 阅读数:788更多 个人分类: HDP 平台的运用 版权声明:小兄弟,慢慢熬吧...... https://blog.csdn.net/u013850277/article/details/78052320 场景: ...

2018-08-30 14:05:49 761 0

转载 Phoenix的安装部署

 Phoenix的安装部署 3.1、准备工作 提前安装好ZK集群、hadoop集群、Hbase集群   3.2、安装包 从对应的地址下载:http://mirrors.cnnic.cn/apache/phoenix/ 这里我们使用的是: phoenix-4.8.2-HBase-1.2-...

2018-08-30 13:37:45 582 0

转载 [一起学Hive]之五-Hive的视图和分区

lxw的大数据田地 Hadoop/Hive/HBase/Spark/Java 首页 Hadoop Spark Hive Kafka Flume 大数据平台 Kylin 专题文章 Spark算子 一起学Hive Hive存储过程 Hive分析函数 Spark On...

2018-08-29 21:34:10 368 0

转载 [一起学Hive]之六-Hive的动态分区

[一起学Hive]之六-Hive的动态分区 博客分类:  hive hivehive动态分区         前面文章介绍了Hive中是支持分区的。        关系型数据库(如Oracle)中,对分区表Insert数据时候,数据库自动会根据分区字段的值,将数据插入到相应的分区中,Hiv...

2018-08-29 21:15:28 273 0

转载 用java取得linux系统cpu、内存的实时信息

    LinuxJavaperformance.netlog4j  Java代码    import java.io.BufferedReader;   import java.io.File;   import java.io.FileInputStream;   import...

2018-08-28 16:24:02 1629 1

原创 https://www.kancloud.cn/digest/javaframe/125588

https://www.kancloud.cn/digest/javaframe/125588

2018-08-25 08:54:42 134 0

原创 Spring Security安全框架入门篇

Spring Security安全框架入门篇 一、Spring Security相关概念 1.1.、Spring Security介绍: Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架(简单说是对访问权限进行控制嘛)。它提供...

2018-08-25 08:53:06 416 0

转载 Shiro安全框架入门篇(登录验证实例详解与源码)

Shiro安全框架入门篇(登录验证实例详解与源码) 一、Shiro框架简单介绍 Apache Shiro是Java的一个安全框架,旨在简化身份验证和授权。Shiro在JavaSE和JavaEE项目中都可以使用。它主要用来处理身份认证,授权,企业会话管理和加密等。Shiro的具体功能点如下: ...

2018-08-25 08:52:26 386 0

转载 Ubuntu16.04多主机集群上手动部署Kubernetes,配置docker私有registry,配置Kubernetes-dashboard WEB ui

  主要流程:  - 部署etcd集群  - 部署K8s Master  - 配置flannel服务  - 部署K8s Node  - 部署DNS  - 部署Dashboard 环境信息 项目 版本 Etcd 3.1.2 docker 17.03.0-ce fl...

2018-08-24 18:04:14 235 0

原创 https://github.com/liuyi01/kubernetes-starterhttps://github.com/liuyi01/kubernetes-starter

https://github.com/liuyi01/kubernetes-starterhttps://github.com/liuyi01/kubernetes-starterhttps://github.com/liuyi01/kubernetes-starter

2018-08-23 17:18:59 818 0

转载 Ubuntu16.04多主机集群上手动部署Kubernetes,配置docker私有registry,配置Kubernetes-dashboard WEB ui

Ubuntu16.04多主机集群上手动部署Kubernetes,配置docker私有registry,配置Kubernetes-dashboard WEB ui 2017年03月17日 20:51:42 阅读数:3475 标签: kubernetesdashboardk8setcd集群docke...

2018-08-23 16:55:33 107 0

原创 k8s中文网站

https://www.kubernetes.org.cn/doc-11

2018-08-23 09:08:58 332 0

原创 hadoop 添加节点

标题 

2018-08-22 22:41:52 54 0

原创 进dfsadmin enter 或者 dfsadmin leave

标题 

2018-08-22 22:41:10 127 0

转载 Java使用DateFormatter格式化日期时间的方法示例

Java使用DateFormatter格式化日期时间的方法示例 转载  更新时间:2017年04月02日 14:41:34   作者:FrankYou   我要评论     这篇文章主要介绍了Java使用DateFormatter格式化日期时间的方法,结合具体实例分析了java使用Dat...

2018-08-21 18:17:41 3617 0

原创 你要调整一下work capacity的数量

你要调整一下work capacity的数量 寻道先生 2018/8/21 11:26:11 为啥 baby Penguin 2018/8/21 11:26:13 你有2个task penon在那 寻道先生 2018/8/21 11:26:27 那两个 baby Penguin 2018/8/...

2018-08-21 14:30:52 101 0

原创 完全分布式hdfs 路径问题造成

          # For HDFS (make sure to include the HDFS extension and that your Hadoop config files in the cp): druid.indexer.logs.type=hdfs dru...

2018-08-21 14:28:22 357 0

原创 druid mid节点的hdfs出现 could only be replicated to 0 nodes instead of minReplication (=1).  There are 1

    at java.lang.Throwable.addSuppressed(Throwable.java:1043) ~[?:1.8.0_162]     at io.druid.storage.hdfs.tasklog.HdfsTaskLogs.pushTaskLog(HdfsTaskLo...

2018-08-21 14:24:10 3132 0

转载 HDFS DATANODE 磁盘容量的最小值des instead of minReplication (=1).  There are 1 datanode(s) running and no no

HDFS DATANODE 磁盘容量的最小值 博客分类:  Hadoop Hadoop  原创,转载请注明出处 HDFS的DATANODE的剩余空间具体要到多大?关于这个问题,下面记录下对这个问题的调查  昨天,讨论群里面给出了一个异常:  Java代码    op@odbtest ...

2018-08-21 12:06:45 110 0

原创 https://github.com/apache/storm/commit/b6cab8dca97e2238aef8e45118f6946fc2d35049#diff-6ab5421905cac64

apache/storm   https://github.com/apache/storm https://github.com/apache/storm/commit/b6cab8dca97e2238aef8e45118f6946fc2d35049#diff-6ab5421905cac6...

2018-08-19 19:07:30 311 0

转载 Druid 大数据分析之查询

Druid 大数据分析之查询 博客分类:  Druid druid  1、Druid 查询概述     上一节完成数据导入后,接下来讲讲Druid如何查询及统计分析导入的数据。     Druid的查询是使用REST风格的HTTP请求查询服务节点(Broker、Historical、Rea...

2018-08-19 18:14:45 2224 0

转载 Druid 大数据分析之快速应用(单机模式)

Druid 大数据分析之快速应用(单机模式) 博客分类:  Druid druid 1、概述    本节快速安装基于单机服务器,很多配置可以默认不需要修改,数据存储在操作系统级别的磁盘。推出快速安装的目的,便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实...

2018-08-19 18:13:20 337 0

转载 Storm Druid Bolt实现

原 Storm Druid Bolt实现: 2018年04月10日 15:00:24 阅读数:135 Storm-Druid源码地址为:https://github.com/apache/storm/tree/master/external/storm-druid  在Storm与Drui...

2018-08-19 18:05:39 161 0

转载 superset 安装及其深度汉化

superset 安装及其深度汉化 2017年07月19日 16:39:21 阅读数:7277 Superset的安装及其汉化过程 一、安装过程参照官网步骤,基本没有we http://superset.incubator.apache.org/installation.html# 1...

2018-08-19 09:14:54 821 1

转载 superset安装与使用

superset安装与使用 2018年05月29日 17:22:23 阅读数:568   本文介绍superset的安装(linux环境)与简单使用 环境准备 1.linux(这里是以centos7为示例) 2.docker环境 安装superset 1.查找superset相关...

2018-08-19 09:02:53 912 1

原创 Enabling Metrics

Enabling Metrics Druid nodes periodically emit metrics and different metrics monitors can be included. Each node can overwrite the default list of m...

2018-08-18 17:31:58 312 0

转载 Druid学习笔记(4)数据摄入总结

Druid学习笔记(4)数据摄入总结 2017年12月13日 18:09:25 阅读数:1907 1. 概述 Druid的数据摄入主要包括两大类:  1. 实时输入摄入:包括Pull,Push两种  - Pull:需要启动一个RealtimeNode节点,通过不同的Firehose摄取不同...

2018-08-18 16:57:55 156 0

转载 5-Druid数据摄入-2

5-Druid数据摄入-2 2017年11月19日 13:38:31 阅读数:1102  一、Stream Ingestion 可以通过Tranquility (a Druid-aware client,提供负载均衡,其他服务,缺点复杂)、或者indexing service 、单个...

2018-08-18 16:57:01 652 0

转载 Druid提供了两类截止作为Cache和查询组件

本身包含了五种节点 : Realtime、Historical、Coordinator、Broker、Indexer 2.1.1 历史节点(Historical Node)  历史节点主要负责加载已经生成好的数据文件以及提供数据查询。 历史节点启动时,会先检查自身的本地缓存中已存在的Segm...

2018-08-18 16:47:10 932 1

转载 Druid:Druid.io 部署&使用文档

Druid:Druid.io 部署&使用文档 时间  2016-12-23 标签 海量数据 栏目 Java开源 原文   http://blog.csdn.net/silentwolfyh/article/details/53843335   参考: http://lx...

2018-08-17 17:55:58 624 0

转载 Hadoop集群版本必须和Druid.io中版本同一,可以通过pull-deps下载相同hadoop-dependencies版本,e.g. :

Druid:Druid.io 部署&使用文档 时间  2016-12-23 标签 海量数据 栏目 Java开源 原文   http://blog.csdn.net/silentwolfyh/article/details/53843335   参考: http://lx...

2018-08-17 09:53:39 928 0

转载 Druid:一个用于大数据实时处理的开源分布式系统

  博客园  首页  新随笔  联系  管理  订阅  Druid:一个用于大数据实时处理的开源分布式系统 Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况...

2018-08-17 09:43:24 1152 1

原创 定时任务

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN 2.0//EN" "...

2018-08-17 09:14:27 207 0

原创 druid下载第三方插件的方式

property    description    required?    default druid.emitter.kafka.bootstrap.servers    Comma-separated Kafka broker. ([hostname:port],[hostname:po...

2018-08-16 19:04:23 801 1

转载 centos7安装mysql5.7.18完整实用教程(★firecat推荐★)

centos7安装mysql5.7.18完整实用教程(★firecat推荐★) 2017年07月27日 17:35:12 阅读数:1805 CentOS 7的yum源中貌似没有正常安装mysql时的mysql-sever文件,需要去官网上下载https://downloads.mysql.c...

2018-08-16 13:59:57 140 0

转载 在线安装superset

在线安装superset 2017年09月26日 14:19:04 阅读数:244 在线安装superset 一、       安装依赖包 yum upgrade python-setuptools yum install gcc gcc-c++ libffi-devel...

2018-08-16 13:11:53 191 0

转载 【CentOS7】安装Superset

【CentOS7】安装Superset 2018年06月06日 12:03:15 阅读数:50     Superset是依赖python的,所以想要使用它还得安装python环境,Superset支持的python版本为Python 2.7 and Python 3.4+. Python ...

2018-08-16 12:52:37 787 0

转载 开源BI工具superset的安装使用

开源BI工具superset的安装使用 2017年11月20日 16:04:52 阅读数:322256 应用场景 数据进入到数据库中,查询只能看到一行行的数据,最好是可以通过图形的方式将数据形象化的展示出来,通过图形进行组合分析,仪表分析,地图分析,多维分析等等,更加详细的通过图形展示数...

2018-08-16 10:02:42 2392 0

提示
确定要删除当前文章?
取消 删除