自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(71)
  • 资源 (3)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Zabbix 使用(n):自定义邮件告警

文章目录一、检查服务,如果有就关闭二、安装服务三、编辑配置文件四、测试配置自定义邮件脚本五、测试六、zabbix 对hadoop namenode报警6.1 创建 Items6.2 创建 Trigger6.3 关闭HDFS会出现如下警报6.4 创建 Media Type6.4 Email 绑定收件人6.5 创建 Action6.6 修改 mail.sh 文件一、检查服务,如果有就关闭sendmailsystemctl status sendmailpostfixsystemctl status

2020-06-01 23:06:30 191

原创 Hadoop数据迁移

文章目录一、需求说明二、找需要迁移的数据三、迁移脚本五、注意事项一、需求说明把A集群上的数据迁移到B集群上。需要预先知道A集群主节点的ip地址,和B集群主节点的ip地址。二、找需要迁移的数据然后点击可以查看文件目录树,这里以进入 /user/hive/warehouse/transpass_std.db/s_phone_inter_trip/source=cm/start_city=440300/year=2019/month=03/day=12 文件夹为例根据实际迁移需求,找到你所想要

2020-06-01 11:40:13 224

原创 Spark源码之-CDH6下Spark2.4写Hive分区表异常

文章目录一、组件版本二、问题描述三、问题分析四、解决办法一、组件版本组件版本Hadoop3.0.0+cdh6.1.1Hive2.1.1+cdh6.1.1spark2.4.0+cdh6.1.1二、问题描述在 Spark 向 Hive分区表 写入数据时,抛出异常如下:org.apache.spark.SparkException: Requested partitioning does not match the test_table_name table

2020-06-01 10:27:12 438

原创 Zabbix 使用(1): 添加被监控主机、创建主机、监控项、触发器、图形和模板

文章目录

2020-05-30 00:40:57 115

原创 Zabbix5.0 中文乱码

字体文件目录:zabbix 4.0:/usr/share/zabbix/fonts/zabbix 4.2:/usr/share/zabbix/assets/fonts/zabbix5.0:/usr/share/zabbix/assets/fontsphp 脚本文件位置:/usr/share/zabbix/include/defines.inc.php将Win10操作系统 C:\Windows\Fonts目录下的任意字体,拷贝到/usr/share/zabbix/assets/fonts/目.

2020-05-29 23:46:30 1893

原创 Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-agent)

文章目录一、配置阿里云yum源二、Zabbix5.0 YUM源三、安装 Zabbix agent四、修改配置文件五、测试是否成功加入agent(在server端检查)5.1 安装 zabbix-get一、配置阿里云yum源[root@zabbix2 ~]# curl -o /etc/yum.repos.d/epel.repos http://mirrors.aliyun.com/repo/epel-7.repo[root@zabbix2 ~]# curl -o /etc/yum.repos.d/Ce

2020-05-29 23:10:55 1018

原创 Centos7.7 二进制文件安装使用 Zabbix5.0(zabbix-server)

文章目录一、系统环境二、配置阿里云yum源三、Zabbix5.0 YUM源四、Zabbix5.0 YUM 源开启web前端安装五、创建 Zabbix 用户六、导入初始数据七、Zabbix server 配置修改八、更改fpm配置九、启动Zabbix server和agent进程一、系统环境Centos7.7、关闭防火墙、关闭selinux二、配置阿里云yum源curl -o /etc/yum.repos.d/epel.repos http://mirrors.aliyun.com/repo/

2020-05-29 17:44:41 552

原创 Centos7.7 安装 Zabbix

一、Centos7.7 安装使用 Zabbix(Server节点)二、Centos7.7 安装使用 Zabbix(agent 节点)

2020-05-28 22:37:19 84

原创 Centos7.7 编译源码安装使用 Zabbix4.4(agent 节点)

文章目录一、新建Zabbix用户二、编译环境准备三、去官网下载编译安装的Zabbix四、修改zabbix-agent配置文件五、启动Zabbix-Agent一、新建Zabbix用户[root@zabbix ~]# groupadd zabbix[root@zabbix ~]# useradd zabbix -g zabbix -s /sbin/nologin二、编译环境准备[root@zabbix ~]# yum install -y gcc libxml2-devel libevent-d

2020-05-28 22:36:09 241

原创 Centos7系统更换yum源镜像为国内镜像

cd /etc/yum.repos.d/mv CentOS-Base.repo CentOS-Base.repo.bakwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum makecacheyum -y update

2020-05-28 21:27:59 122

原创 Centos7.7 编译源码安装使用 Zabbix4.4(Server节点)

文章目录一、安装环境二、关闭SElinux三、关闭防火墙四、在线安装 mariadb五、安装PHP环境一、安装环境操作系统:CentOS7.7WEB:Apache/2.4.6PHP:7.0.33数据库:MySQL二、关闭SElinux[root@zabbix ~]# setenforce 0[root@zabbix ~]# vim /etc/selinux/config SELINUX=enforcing #将enforcing替换为disabledSELINUX=disa

2020-05-28 21:24:26 234

原创 useradd: cannot open /etc/shadow

问题描述:useradd -g mysql mysqluseradd: cannot open /etc/shadow解决问题:chattr -i /etc/gshadowchattr -i /etc/groupchattr -ai /etc/shadowchattr -ai /etc/passwd

2020-05-27 13:14:17 383

原创 centos7安装mysql问题

异常信息:warning: user mysql does not exist - using root解决办法:yum install -y perl-Module-Install.noarch

2020-05-27 12:56:20 59

原创 CDH安全之Sentry权限管理

文章目录一、Sentry概述1.1 Sentry是什么1.2 Sentry中的角色二、Sentry安装部署三、Sentry与Hive/Impala集成3.1 修改配置参数3.2 配置Hive使用Sentry3.3 配置Impala使用Sentry3.4 配置HDFS权限与Sentry同步四、Sentry 授权4.1 基于 Hue4.2 基于 命令行一、Sentry概述cdh 版本的 hadoop 在对数据安全上的处理通常采用 Kerberos+Sentry 的结构。kerberos 主要负责平台用户

2020-05-21 16:15:35 1017

原创 hue: There are currently no roles defined

这个原因是这个用户没有查看的权限,hive,hue就可以,因为sentry中没有配置default组为超级组在hue中创建hive账号、hive组,使用该账号登陆, 即可添加角色

2020-05-21 14:19:31 101

原创 CDH 查询 Hive执行过的SQL语句

一、打开 CDH二、设置参数

2020-05-09 13:14:23 370

原创 二、Flink基础之 部署模式

文章目录一、Standalone模式1.1 下载flink安装包1.2 安装 flink1.3 配置文件二、Yarn模式三、Kubernetes部署一、Standalone模式1.1 下载flink安装包https://flink.apache.org/downloads.html1.2 安装 flink解压即可1.3 配置文件vim conf/flink-conf.yam...

2020-04-13 13:12:36 70

原创 window10 下使用 nc 工具

文章目录一、下载地址二、使用一、下载地址https://eternallybored.org/misc/netcat/二、使用将解压后的单个文件全部拷贝到 C:\Windows\System32 的文件夹下。注意:不是拷贝整个文件夹,而是文件夹里面的全部文件。nc -l -p 7777...

2020-04-13 12:25:13 835 1

原创 一、Flink基础 之 wordcount

文章目录一、搭建maven工程1.1 pom 文件1.2 添加scala框架 和 scala文件夹1.3 批处理wordcount1.4 流处理 wordcount一、搭建maven工程1.1 pom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4...

2020-04-13 12:22:38 94

原创 CentOS 修改主机名和IP

文章目录一、修改主机名二、修改 ip一、修改主机名hostnamectl set-hostname 主机名二、修改 ipvim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticIPADDR=192.168.161....

2020-04-04 22:59:58 119

原创 Centos7.7 CDH6.2.1 安装教程

文章目录此教程以 6.2.0 的版本为例一、下载此教程以 6.2.0 的版本为例一、下载CDH下载地址下载cdh选择对应linux的下载,例如我下载的是 centos7.7 下使用的cdh6.2.0下载cm...

2020-04-04 22:34:45 769

原创 定时清空 HBase 表

文章目录一、 需求二、实现一、 需求业务上需要将当天的数据写入hbase 提供给后台查询前台展示,第二天清空前一天的数据二、实现vim truncateGpsToDay.shtruncate 'TBL_GPS_TODAY'executorTruncateToDay.shhbase shell /root/truncateGpsToDay.sh配置定时任务0 0 ...

2020-04-03 09:56:42 173

原创 Spark 任务停止后自动重启

#! /bin/bashstatus="RUNNING"programStatus=`yarn application -list |grep YARN-NAME| awk '{print $6}'`if [ "$status" == "$programStatus" ]then #"程序正在运行..."else echo `date "+%Y-%m-%d...

2020-03-26 22:36:33 532

原创 mysql 5.7.20下载、安装和配置方法及简单操作技巧(window绿色版)

下载: https://dev.mysql.com/downloads/mysql/ 直接下载,无需注册和登录。安装: 将下载的mysql压缩包解压后的整个目录放在指定目录 配置: 新建一个ini文件,并命名为my.ini,放置到mysql安装目录中。文件内容是:[mysql] # 设置mysql客户端默认字符集 default-character-set=utf8 [my

2020-03-18 14:34:59 858

转载 Hive on Spark 参数调优

文章目录前言executor参数spark.executor.coresspark.executor.memory/spark.yarn.executor.memoryOverheadspark.executor.instancesspark.dynamicAllocation.enabledDriver参数spark.driver.coresspark.driver.memory/spark.d...

2020-03-16 14:48:33 328

原创 CentOS7 下安装 Docker

文章目录一、前提条件二、卸载旧版本三、安装一、前提条件操作系统要求要安装Docker Engine-Community,您需要一个CentOS 7的维护版本。不支持或未测试存档版本。二、卸载旧版本较旧的Docker版本称为docker或docker-engine。如果已安装这些程序,请卸载它们以及相关的依赖项。$ sudo yum remove docker docker-client...

2020-03-08 15:07:12 83

原创 CDH 平台安装 Apache Phoenix

文章目录下载 Phoenix解压拷贝指定 jar到 HBase 的lib目录在 CDG - hbase配置中加入相关参数将 hdfs 和 hbase 相关配置文件拷贝到 Phoenix/bin目录下重启 Hbase即可连接Phoenix下载 Phoenixhttp://phoenix.apache.org/download.html解压[root@bigdata-5 ~]# tar -z...

2020-03-02 20:25:49 158

原创 Hive beeline连接

启动hiveserver2服务[kino@bigdata01.sutpc hive]$ bin/hiveserver2启动beeline[kino@bigdata01.sutpc hive]$ bin/beelineBeeline version 1.2.1 by Apache Hivebeeline>连接hiveserver2beeline> !connect ...

2020-02-29 22:49:35 285

原创 This account is currently not available(用户当前不可用)

在安装好 CDH 之后,使用安装时自动创建的 hdfs 用户登录不了[root@bigdata-3 ~]# su hdfsThis account is currently not available.原因是此用户的shell是/sbin/nologin需修改成/bin/bash...

2020-01-13 11:50:32 690

原创 Hive 导出 csv 文件

hive -e "set hive.cli.print.header=true; select * from data_table where some_query_conditions " | sed 's/[\t]/,/g' > outputData.csv参数说明:- set hive.cli.print.header=true:输出表头- sed 's/[\t]/,/g:将...

2019-12-23 18:11:54 315

原创 CDH 安装 Hue 连接不上MySQL

执行:yum install -y python-lxml 即可

2019-12-08 10:55:24 629

原创 windows 下彻底删除免安装版mysql

1、本方法是基于免安装版的mysql5.6.4 2、方法: 1)、删除mysql文件夹 2)、开始-运行里面输入regedt,打开注册表.注册表里MySQL的项就是这三项: HKEY_LOCAL_MACHINE/SYSTEM/ControlSet001/Services/Eventlog/Application/MySQL HKEY_LOCAL_MACHINE/SYSTEM/Control

2019-12-04 18:29:11 382

原创 Java split 指定切割个数

Java split 在特殊业务下切割数组String ids2 = "100,,,,";// java 按, 切割成数组。String[] id = ids1 .split(",");String idA = id[0];String idB = id[1];String idC = id[2];String idD = id[3];// 然后就..... java....

2019-12-04 18:19:30 623

原创 二分查找法的实现及源码

二分查找:给定数组是有序的,给定一个key值。每次查找最中间的值,如果相等,就返回对应下标,如果key大于最中间的值,则在数组的右半边继续查找,如果小于,则在数组左半边查找,。最终有两种结果,一种是找到并返回下标,第二种是没找到。例如有一组给定数组是有序的数据: int[] arr102030405060708090100定义两个边界, 下标low表示左边...

2019-12-04 18:05:11 291

原创 Java集合: asList 的缺陷

Arrays.toList(T t) 方法在开发中用起来非常方便, 却存在几个缺陷…1. 不要使用8中基本数据类型数组转换为集合2. asList产生的集合不可操作(不可以做出结构上的改变)上述例子是将 Integer类型的数组转为 List 集合, 并且在 list 中 add 一个新的参数, 这个过程很简单, 但是结果出乎意料的不是 size=6, 而是:从报错信息看到, 在 4...

2019-12-04 18:05:02 115 2

原创 Linux 集群分发脚本

文章目录一、scp(secure copy)安全拷贝1.1 scp定义1.2 基本语法1.3 案例实操二、 rsync 远程同步工具2.1 基本语法2.2 案例实操三、 xsync集群分发脚本前提: 需要有多个虚拟机, 名字保持相似性,例如: linux01、linux02、linux03.....3.1 需求:循环复制文件到所有节点的相同目录下3.2 需求分析一、scp(secure copy...

2019-12-04 18:03:11 156

原创 CentOS7 离线安装 MySql5.7

文章目录一、下载地址二、 解压安装一、下载地址https://download.csdn.net/my二、 解压安装将安装包剪切到 /opt/software/ 目录下mv mysql-libs.zip /opt/software/ 解压mysql-libs.zip文件到 当前目录下[root@hadoop102 software]# unzip mysql-libs....

2019-12-04 17:57:30 113

原创 Linux下卸载 MySQL

文章目录一、 查看安装的 mysql二、卸载一、 查看安装的 mysql[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64二、卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64...

2019-12-04 17:57:17 114

原创 Hive DDL 数据定义

文章目录一、创建数据库一、创建数据库创建一个数据库, 数据库在 HDFS 上的默认存储路径是 /user/hive/warehouse/*.db。hive (default)> create database db_hive;避免要创建的数据库已经存在错误,增加 if not exists 判断。(标准写法)hive (default)> create database ...

2019-12-04 17:56:56 82

原创 Hive 查询

文章目录一、 基本查询1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit 语句二、Where 语句2.1 比较运算符2.2 Like 和 Rlike2.3 逻辑运算符(and/or/not)三、分组3.1 Group By 语句3.2 Having 语句四、Join语句4.1 等值 Join4.2 表的别名4.3 内连接4.4 左外连接4.5 右外连接4.6...

2019-12-04 17:56:45 224

mysql-libs.zip

Linux 下 MySQL 安装包, 包含有 MySQL-server-5.6.24-1.el6.x86_64.rpm 和 MySQL-client-5.6.24-1.el6.x86_64.rpm

2009-12-31

kylin 测试数据

kylin 测试数据

2019-08-20

flume-hadoop-jar.zip

此ZIP内容: 将数据输出到HDFS,必须持有Hadoop相关jar包

2019-08-07

正在编辑的博客中的新建功能BUG

发表于 2018-09-30 最后回复 2018-10-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除