牧童～-CSDN博客

原创大数据技术之Clickhouse

大数据技术之Clickhouse一、概述ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。1.1 适用场景1. 绝大多数是读请求；2. 数据以相当大的批次(> 1000行)更新，而不是单行更新;或者根本没有更新；3. 已添加到数据库的数据不能修改；4. 对于读取，从数据库中提取相当多的行，但只提取列的一小部分；5. 宽表，即每个.

2021-02-07 16:32:31 1121

原创 Zabbix监控大数据集群（二）

Zabbix监控大数据集群七、监控Hadoop集群7.1 说明 Zabbix官方并没有给出Hadoop的模板，本人在GitHub上面找到了相应的解决方案（https://github.com/Staroon/zabbix-hadoop-template）。Hadoop的监控分为两部分，包括HDFS和NameNode，第二部分为ResourceManager；7.2 操作步骤HDFS和NameNode监控a. 上传并链接模板监控模板文件为Template Cluster Hadoop.x

2020-07-10 14:28:41 1353

原创 Zabbix监控大数据集群（一）

Zabbix监控大数据集群一、监控Linux系统对于各种大数据框架的监控可能要用到Zabbix-Sender组件，我们这里首先进行安装（如果不安装，可能会导致数据无法发送）：yum install -y zabbix-sender1.1 说明本文使用Zabbix4.4版本，自带有Linux系统的监控模板，只要将模板链接到相应的主机上面即可。1.2 操作步骤启动服务在Server端启动Zabbix-Server服务：#启动服务systemctl start zabbix-

2020-07-09 18:09:16 1510

原创大数据集群监控--Zabbix4.4部署安装

一、前言1.1 说明在大数据开发中，我们必须实时掌握集群的情况，例如CPU、内存的负载情况，网络IO延迟情况，特定端口是否异常，Kafka、Hadoop、HBase的服务的各个进程运行情况等等；但安装Zabbix又不是特别容易，作为小白的我也遇到了好多坑，废话不多说，本文带你安装部署Zabbix4.4框架。1.2 环境本次部署Zabbix，我们选择了一台机器（manage）作为Server端，其他机器（hadoop101、hadoop102）作为agent端；二、安装部署2.1 前提条件关

2020-06-19 13:06:17 564

原创大数据集群设置时间同步

1.时间服务器设置指定一台特定的机器，作为时间服务器，为集群提供集群的标准时间；该服务器可以与外部网络同步时间，也可以使用硬件的时间。1.1 安装ntp服务检查服务器的系统是否安装了ntp服务：rpm -qa|grep ntp如果没有安装，那么安装ntp服务：yum install -y ntp1.2 修改配置修改时间服务器ntp的配置文件（vim /etc/ntp.conf）：restrict 192.168.1.0 mask 255.255.255.0 nomodify notra

2020-06-15 17:21:08 615

原创 Ansible自动化运维工具(二)

一、Ansible常用命令1.ansible 模块ansible<host-pattern>[-m module_name] [-a args]a.常用参数：-m 指定模块名称；-a 输入命令行参数，使用’ '括起来；- -version 显示版本信息；-i 指定库存主机文件的路径，默认为/etc/ansible/hosts；-v 详细过程 -vv -vvv 更详细过程；–list-host 显示主机列表，可简写–list；-k ，–ask-pass 提示输入ssh连接

2020-06-12 12:01:08 215

原创 Ansible自动化运维工具(一)

一、概述Ansible是一种自动化运维的工具，可以实现自动化部署应用、集群配置管理，拥有统一的界面协调所用框架。其底层通信方式是基于SSH协议通信的，随着版本的不同通信模块也在不断调整，另外也可以开启加速模式提升通信效率。二、Ansible的架构1.Ansible CoreAnsible自身的核心模块；2.Host Inventory主机库，管理主机的清单，可以在/etc/ansible/hosts文件中自定义；3.Connection Plugins连接插件，一般默认基于 ssh

2020-05-10 18:37:13 178

原创第七章面向对象（下）

第七章面向对象（下）7.1 抽象类父类在声明方法时，只有方法签名，没有方法体，我们把没有方法体的方法称为抽象方法。Java语法规定，包含抽象方法的类必须是抽象类。7.1.1 语法格式 1. 抽象方法：没有方法体的方法。【其他修饰符】 abstract 返回值类型方法名(【形参列表】);抽象类：被abstract所修饰的抽的类。【权限修饰符】 abstract c...

2019-10-13 15:49:00 193

原创第六章面向对象（中）

第六章面向对象（中）6.1 封装6.1.1 封装的概念适当的封装可以让代码更容易理解与维护，也加强了代码的安全性。面向对象编程语言是对客观世界的模拟，客观世界里成员变量都是隐藏在对象内部的，外界无法直接操作和修改。封装可以被认为是一个保护屏障，防止该类的代码和数据被其他类随意访问。要访问该类的数据，必须通过指定的方式。方式：暴露该暴露的，隐藏需要隐藏高内聚，低耦合...

2019-09-15 12:02:03 192

原创第五章面向对象（上）

第五章面向对象（上）5.1 面向对象思想 Java语言是一种面向对象的程序设计语言，而面向对象思想（OOP）是一种程序设计思想，我们在面向对象思想的指引下，使用Java语言去设计、开发计算机程序。这里的对象泛指现实中一切事物，每种事物都具备自己的属性和行为。面向对象思想就是在计算机程序设计过程中，参照现实中事物，将事物的属性特征、行为特征抽象出来，描述成计算机事件的设计思想。面...

2019-09-08 09:52:02 165

原创第四章数组2

第四章数组4.8 数组的常见操作4.8.1 数组的复制应用场景：扩容、备份、截取、反转方法： ① 确定变化后数组的长度； ③ 新建数组，遍历原数组，将原数组符合条件的元素赋值给新数组； ② 将新数组的地址赋值给原数组；示例代码：扩容，新增一个位置来存储10int[] arr = {1,2,3,4,5,6,7,8,9};//如果要把arr数组扩容，增加1个位置/...

2019-09-05 18:48:19 168

原创第四章数组

第四章数组4.1 数组的概念所谓数组(array)，就是相同数据类型的元素按一定顺序排列的集合，就是把有限个类型相同的变量用一个名字命名，以便统一管理他们，然后用编号区分他们，这个名字称为数组名，编号称为下标或索引(index)。组成数组的各个变量称为数组的元素(element)。数组中元素的个数称为数组的长度(length)。注：数组的长度一旦确定，就不能修改。4.2 数组的定...

2019-09-02 18:29:12 123

原创第三章流程控制2

第三章流程控制3.5 循环结构（for循环）3.5.1 调用格式for(初始化语句①; 循环条件语句②; 迭代语句④){ 循环体语句③//如果循环体中没有跳出循环体的语句，那么就是死循环}注：for( ; ; )中的两个分号”;“，不能多也不能少；循环条件必须是boolean类型；如果循环条件语句②省略的话，就默认为循环条件成立。3.5.2 案例演示...

2019-08-31 18:04:34 89

原创第三章流程控制

第三章流程控制今日内容if else判断语句switch选择语句学习目标掌握键盘输入各种数据类型的值理解if语句的格式和执行流程理解if…else语句的格式和执行流程理解if…else if语句的格式和执行流程了解if语句和三元运算符互换理解switch选择语句的格式和执行流程掌握switch选择语句接收的数据类型理解case的穿透性掌握brea...

2019-08-30 19:03:42 154

原创第二章 Java基础知识

typora-copy-images-to: …\01-code第二章 Java基础知识2.5 Java的数据类型 Java的数据类型分为两大类：基本数据类型：8种；引用数据类型：类、接口、数组。2.5.1 基本数据类型**整型：**byte(1字节=8bit)\short(2字节)\int(4字节)\long(8字节) ① byte范围：-128~127...

2019-08-29 12:01:04 152

原创第一章 Java概述

Java基础语法学习目标能够使用常见的DOS命令理解Java语言的跨平台实现原理理解JDK/JRE/JVM的组成和作用能够编写HelloWorld程序编译并执行（掌握）能够配置环境变量JAVA_HOME（会参照笔记配置）能够辨识关键字（掌握）理解标识符的含义（掌握）理解Java中的基本数据类型分类（掌握）能够定义8种基本数据集类型的变量（掌握）第一章 J...

2019-08-27 23:24:55 236

原创 Python数据分析——基础（概论）

所谓的统计学四大方法收集、处理、分析、解释，简简单单八个字便概括了数据的今生今缘。那么接下来我简单介绍一下1.数据的诞生在信息时代，我们每天接触到的，不管是你在上班途中看的报纸杂志，还是下班回家去菜市场买菜时菜品的价格，都可以笼统的称之为——数据！当然我们要用到的数据，显然不止于自己接触的，有时我们需要利用数据去指导工作或投资，例如股票价格...

2019-07-15 12:16:01 130

原创 Spyder使用体验

初次学习Python，不敢班门弄斧，浅谈一下Python的IDE使用感受。作为小白呢，第一次接触Pythond的环境编辑器自然是自带的IDLE了。刚开始学习基本语句，使用IDLE感觉很简洁，干脆利落，有点像R语言的风格。但是学习后期，由于本人学习数据分析方面的知识，所以要使用Pandas、Numpy、Scipy等库，这时IDLE就很鸡肋了。一呢：下载需要的库时总...

2019-07-15 10:48:43 950

原创灰色预测模型matlab代码

clearsyms a b;c=[a b]'; %待定系数m=xlsread('1.xls'); %取Excel中的数据d=m(:,3) %取数据中的列向量A=d.';B=cumsum(A); n=length(A); for i=1:(n-1) C(i)=(B(i)+B(i+1))/2;endD=A;D(1)=[];D=D'...

2018-04-19 16:09:24 12275 2