2020年04月_Knight_AL

原创 kafka拦截器案例

需求：实现一个简单的双 interceptor 组成的拦截链。第一个 interceptor 会在消息发送前将时间戳信息加到消息 value 的最前部；第二个 interceptor 会在消息发送后更新成功发送消息数或失败发送消息数。案例实操增加时间戳拦截器import org.apache.kafka.clients.producer.ProducerInterceptor;im...

2020-04-30 23:53:10 237

原创 kafka-eagle启动了，但网页打不开

解决方案打开mysqluse mysqlselect user,host from user;修改 user 表，把 Host 表内容修改为%update user set host='%' where host='localhost'; 把其他的都删除如果你的hadoop102这个用户删除不了，去navicat删除再重启，打开网页就成功了！...

2020-04-30 23:48:30 4492 2

原创 Kafka-Eagle 监控

bin目录下修改 kafka-server-start.sh 命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:M...

2020-04-30 23:39:33 169

原创 kafka --API生产者和消费者

导入依赖<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version&...

2020-04-29 20:40:50 206

原创 Flume 数据流监控

安装 httpd 服务与 php yum -y install httpd php 安装其他依赖 yum -y install rrdtool perl-rrdtool rrdtool-devel yum -y install apr-devel 安装 gangliarpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epe...

2020-04-27 23:32:16 202

原创 kafka群集部署

解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /exoport/servers修改解压后的文件名称 mv kafka_2.11-0.11.0.0/ kafka 在/exoport/servers/kafka 目录下创建 logs 文件夹mkdir logs修改配置文件 cd config/ vi server.properties ...

2020-04-27 22:34:52 253

转载 xsync脚本

#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo...

2020-04-27 22:18:30 144

原创集群查看jps脚本

#!/bin/bashfor i in root@hadoop102 root@hadoop103 root@hadoop104do echo "============ $i ============" ssh $i '/export/servers/jdk/bin/jps'done

2020-04-27 22:16:04 588

原创 WritableComparable排序案例实操（区内排序）

import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class FlowBean implements WritableComparable<FlowBean> ...

2020-04-27 22:03:27 394

原创 log4j:WARN Please initialize the log4j system properly解决方案

在main方法中加入BasicConfigurator.configure();成功

2020-04-27 21:59:27 619

原创 WritableComparable排序案例实操（全排序）

import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class FlowBean implements WritableComparable<FlowBean>...

2020-04-25 19:17:59 537

原创 Partition分区案例实操

import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;//这里的kv是mapper输出的kvpublic class ProvincePartitioner extends Partitioner<Text,FlowBean> { public int getPa...

2020-04-25 11:31:58 647

原创 NLineInputFormat使用案例

import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public cl...

2020-04-24 23:05:38 359

原创 KeyValueTextInputFormat使用案例（统计输入文件中每一行的第一个单词相同的行数）

import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class KVTextMapper extends Mapper<Text,T...

2020-04-24 22:36:38 409

原创 CombineTextInputFormat案例实操

import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public c...

2020-04-24 21:43:39 299

原创入门案列3：实时监控目录下多个新文件

1）案例需求：使用 Flume 监听整个目录的文件，并上传至 HDFS2）需求分析：实现步骤：1．创建配置文件 flume-dir-hdfs.conf在job里面vim flume-dir-hdfs.conf a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3...

2020-04-20 23:15:56 226

原创入门案列2：实时监控单个追加文件

1）案例需求：实时监控 Hive 日志，并上传到 HDFS 中2）需求分析：3）实现步骤：1.Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包将commons-configuration-1.6.jar、 hadoop-auth-2.7.7.jar、 hadoop-common-2.7.7.jar、 hadoop-hdfs-2.7.7.jar、 ...

2020-04-20 23:09:59 242

原创 Flume 入门案例1

监控端口数据官方案例1）案例需求：使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。2）需求分析：在这里插入图片描述3）实现步骤：1.安装 netcat 工具 yum install -y nc2.判断 44444 端口是否被占用 netstat -tunlp | grep 44444 3.创建 Flume Agent 配置文件 flume-netcat-l...

2020-04-20 22:52:58 193

原创 Flume-1.7.0的安装部署

1）将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/export/software 目录下2）解压 apache-flume-1.7.0-bin.tar.gz 到/export/servers/目录下tar -zxf apache-flume-1.7.0bin.tar.gz -C /export/servers/3）修改 apache-flume-1...

2020-04-20 22:25:07 244

原创 mysql的备份与还原数据

1.备份数据库mysqldump：在cmd下mysqldump -u username -p password dbname [tbname1 [tbname2...]] > f:/1.sql2.恢复数据库注意：恢复数据只能恢复数据库中的表和表记录，不能恢复数据库本身要自己创建表方法1：mysql：在cmd下mysql -u username -p password ...

2020-04-16 12:03:33 75

原创 Hive-时间类

1）date_format:格式化时间hive (default)> select date_format('2019-06-29','yyyy-MM-dd'); OK _c0 2019-06-292）date_add:时间跟天数相加hive (default)> select date_add('2019-06-29',5); OK _c0 2019-07-04 ...

2020-04-15 22:41:39 606

原创常用查询函数

*****空字段赋值函数说明NVL：给值为NULL的数据赋值，它的格式是NVL( string1, replace_with)。它的功能是如果string1为NULL，则NVL函数返回replace_with的值，否则返回string1的值，如果两个参数都为NULL ，则返回NULL。数据准备：采用员工表 3.查询：如果员工的comm为NULL，则用-1代替select nvl(co...

2020-04-14 21:43:56 603

原创分桶及抽样查询

分区针对的是数据的存储路径；分桶针对的是数据文件。分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。分桶是将数据集分解成更容易管理的若干部分的另一个技术。1 先创建分桶表，通过直接导入数据文件的方式（1）数据准备1001 ss11002 ss21003 ss31004 ss41005 ss51...

2020-04-13 20:13:38 312

原创序列化案例实操

import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public class FlowBean implements Writable{ private long upflow; private lo...

2020-04-13 13:29:19 243

原创 WordCount案例实操

import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public cl...

2020-04-12 21:48:29 308

原创 Mapreduce的环境准备

在pom.xml文件中添加如下依赖<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </depen...

2020-04-12 20:30:12 187

原创 Hive 元数据配置到 MySql

驱动拷贝1．在 /export/software/mysql-libs 目录下解压 mysql-connector-java-5.1.27.tar.gz 驱动包tar -zxvf mysql-connector-java-5.1.27.tar.gz 2．拷贝 mysql-connector-java-5.1.27-bin.jar 到/export/servers/hive/lib/cp ...

2020-04-08 22:43:13 256

原创 liunx下安装mysql5.6版本

安装包准备1．查看 mysql 是否安装，如果安装了，卸载 mysql（1）查看 rpm -qa|grep mysql 如果有就卸载rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 查看安装了mariadb么rpm -qa | grep mariadb如果存在，强力卸载rpm -e --nodeps mariadb-libs-5....

2020-04-08 22:33:51 158

原创将本地文件导入 Hive 案例

需求将本地/export/servers/data/student.txt 这个目录下的数据导入到 hive 的 student(id int, name string)表中。1．数据准备（1）在/export/servers/data 这个目录下准备数据[root@hadoop01 export]$ mkdir data （2）在/export/servers/data目录下创建 s...

2020-04-08 22:09:30 653

原创 Hive 安装部署

1．Hive 安装及配置（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/export/software 目录下（2）解压 apache-hive-1.2.1-bin.tar.gz 到/export/servers目录下面tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers（3）修改 ...

2020-04-08 21:59:11 182

原创 Mysql忘记密码！

1.用管理员权限打开cmd输入net stop mysql使用mysqld –skip-grant-tables启动MySQL服务，出现警告：[Warning] TIMESTAMP with implicit DEFAULT value is deprecated.Please use --explicit_defaults_for_timestamp server option (se...

2020-04-08 12:01:55 94

原创 xsync集群分发脚本

在/home/root目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：[root@hadoop01 ~]# mkdir bin[root@hadoop01 ~]# cd bin/[root@hadoop01 bin]# touch xsync[root@hadoop01 bin]# vi xsync在该文件中编写如下代码#!/bin/bash#1 获取输入参...

2020-04-08 11:06:44 227

原创 sublime的安装----连接stfp

先进入sublime的中国官网跟着步骤一步一步的写使用ctrl+shift+p成功之后输入sftp，主要我是安装了，里面没有打开左上角文件sftp 》Setup Serverctrl+s保存C:\Users\19095\AppData\Roaming\Sublime Text 3\Packages\User\sftp_servers遇到的情况保存不起，解决方案创建了一个记...

2020-04-07 14:48:31 223

原创创建ZooKeeper客户端，创建子节点，获取子节点并监听节点变化，判断Znode是否存在

import java.io.IOException;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;import org.apache.zoo...

2020-04-06 19:06:57 1217

[root@hadoop02 zookeeper-3.4.10]# bin/zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /export/servers/zookeeper-3.4.10/bin/../conf/zoo.cfgStarting zookeeper ... already running as pr...

2020-04-06 18:35:10 524

原创 Centos7的安装

网络设置修改名字为hadoop102hostnamectl set-hostname haodoop102增加自己的ip地址vi /etc/hosts修改地址vi /etc/udev/rules.d/70-persistent- ipoib.rules修改静态，增加网络 vi /etc/sysconfig/networ...

2020-04-06 11:12:49 209

原创 hadoop的环境搭配

JDK的安装用hadoop01 cd /export/software/（目的是传到这个目录，并解压） ls 然后输入rz，找不到命令安装rz：yum install lrzsz -y然后再使用rz 选择文件 jdk-8u…tar.gz解压tar -zxvf jdk-8u…tar.gz -C /export/servers/cd /export/servers/ ...

2020-04-06 11:12:40 423

原创 CheckPoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。[hdfs-default.xml]<property> <name>dfs.namenode.checkpoint.period</name> <value>3600</value></property>（2）一分钟检查一次操作次数，...

2020-04-06 11:12:32 551

原创 WordCount官方案列

在cd /export/data创一个文件然后在hdfs创建目录hadoop fs -mkdir -p /wordcount/input上传到一个目录中 hadoop fs -put /export/data/xxxx /wordcount/input然后进入cd /export/servers/hadoop2.x.x/share/hadoop/mapreduce/然后使用jar包had...

2020-04-06 11:12:23 192

原创 Crondtab定时任务

1.重新启动crond服务service crond restart2crontab定时任务设置-e 编辑crontab定时任务 -l 查询crontab任务 -r删除当前用户所有的crontab任务3.参数说明第一颗* 一个小时当中的第几分钟第二颗* 一天当中的第几个小时第三颗* 一个月当中的第几天第四颗* 一年当中的第几个月第五颗* 一...

2020-04-06 11:12:10 132

空空如也

空空如也