不断前行2020-CSDN博客

原创 EMQX中的管理用户认证数据的API

前提:①禁用EMQX中配置文件的匿名认证配置项allow_anonymous = false②启用用户认证的插件,例如emqx_auth_username插件@hostname =192.168.1.102@port =8081@contentType=application/json@userName=admin@password=public#############查看用户认证数据列表#################GET http://192.168.1.102:8081/api

2021-06-18 13:50:53 910

原创 Flik中的WaterMark

Flink中的WaterMark目的:我的理解是,Flink的WaterMark就是解决数据由于网络延迟导致的数据顺序错误的问题;Flink的WaterMark分为有序流中的WaterMark与无序流中的WaterMark有序流中的WaterMark是理想中的无延迟的有序的数据流,实际上由于网络等的问题,数据流是无序流的.实际上,每条数据都会带着自己的时间戳(事件时间);而此时flink中的WaterMark会通过周期或者打点的方式记录水印,水印时间为当前数据时间戳-乱序成为时间-1单位ms

2021-03-05 20:33:50 141

原创 Hive中的数据导入导出操作

数据导出Insert导出--将查询的结果导出到本地hive (default)> insert overwrite local directory '/opt/module/hive/datas/export/student' select * from student; --将查询的结果格式化导出到本地hive(default)>insert overwrite local directory '/opt/module/hive/datas/ex

2020-11-30 19:21:15 326

原创 Hive的基础与基本操作

Hive的基本操作命令:hive 或者 beeline 进入hive操作命令行命令:quit 或者 exit 退出hive窗口,在3.0版本后没有区别;命令:dfs -ls /; 在hive窗口如何查看hdfs文件系统命令:进入Linux中的/root或者/home/用户名目录下,输入下列语句 cat .hivehistory 查看在hive中输入的历史命令cat .beeline/history 查看在beeline中输入的历史命令Hive的数据类型基本数据类型HIV

2020-11-26 15:39:42 203

原创 SSH设置无密登录配置

第一步输入命令: ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（3）将公钥拷贝到要免密登录的目标机器上ssh-copy-id 目标机器1ssh-copy-id 目标机器2ssh-copy-id 目标机器3...

2020-11-16 20:19:23 63

原创集群分发rsync脚本同步脚本

首先创建vim xsync文件将下列内容写入xsync文件中,最后将xsync文件移动到添加到环境变量的目录下即可使用#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo ==================== $host =================

2020-11-16 20:13:57 355

原创 Shell的helloworld以及常用命令

HelloWorld1）脚本格式脚本以#!/bin/bash开头（指定解析器）2）第一个Shell脚本：helloworld命令①创建helloworld.sh文件:touch helloworld.sh命令②编辑文件:vim helloworld.sh在文件中输入一下内容并保存退出:#!/bin/bashecho "helloworld"命令③执行脚本:bash helloworld.sh (执行有三种方式,我这里只用了bash这一种,注意权限问题)结果会在控制台输出hellowo

2020-11-16 20:04:00 524

原创 Hadoop的优势与组成

1.Hadoop的优势高可靠性: Hadoop底层维护多个数据副本,所以即使hadoop某个计算元素或存储出现故障,也不会导致数据的丢失.高扩展性:在集群间分配任务数据,咳方便的扩展数以千计的节点.高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度.高容错性:能够自动将失败的任务重新分配.2.Hadoop的组成HDFS架构概述NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及

2020-11-16 19:01:45 308

原创 Linux中用户管理权限等设置

用户管理命令useradd 添加新用户useradd 用户名（功能描述：添加新用户）useradd -g 组名用户名（功能描述：添加新用户到某个组）passwd 设置用户密码passwd 用户名（功能描述：设置用户密码）查看用户是否存在id 用户名 (查看用户是否存在)cat /etc/passwd (查看创建了哪些用户)su 切换用户su 用户名称（功能描述：切换用户，只能获得用户的执行权限，不能获得环境变量）su - 用户名称（功能描述：切换到用户并获

2020-11-16 16:27:52 129

原创 Linxu系统的常用命令汇总

Linxu系统的常用命令汇总系统命令:vim/vi 编辑文件 (i,a,o,I,A,O进入编辑模式,Esc退出编辑模式, :w保存 :q退出)ifconfig （功能描述：显示所有网络接口的配置信息）ping 目的主机（功能描述：测试当前服务器是否可以连接目的主机）hostname （功能描述：查看当前服务器的主机名称）systemctl start 服务名（功能描述：开启服务）systemctl stop 服务名（功能描述：关闭服务）systemctl restart

2020-11-16 15:37:56 246

weixin_45137887的博客