猿猿不断的博客

一、需求背景 有个服务是用docker运行的，然后这次需要加上监控，需要在启动命令后面加上一些配置参数；由于镜像是之前交付，没有当时的dockerfile，所有只能在原先的镜像上加上一个新的启动命令。二、操作1)编写新的docerfileFROM centos_openssl_sqluldr2:1.5.0 WORKDIR /usr ENTRYPOINT ["/bin/sh", "-c", "/usr/local/project/boot2.sh"]这里fr...

一、背景 有个服务每天调用量特别大，每天10G+的日志，一般编辑文件无法打开并统计接口日志打印的数量。二、

服务器需要安装curl，命令如下：1.新建1.xml请求报文文件2.执行命令curl --header "Content-Type: text/xml;charset=UTF-8" --header "SOAPAction:xxx" --data @1.xml http://xx/IdentityService?wsdlSOAPAction:打开soapui获取该接口对应的值调用http+json接口：curl -H "Content-Type: applica...

由于使用的Rancher管理的k8s服务，服务中会生成一些文件，因容器销毁后文件丢失故将文件挂载到其他服务器。这里采用nfs进行远程挂载nfs服务端/etc/exports增加：/data/upload/images/txt_temp 10.2.57.0/24(rw,no_root_squash)客户端执行挂载命令：mount -v -o nolock -t nfs 10.x.x.x:/data/upload/images/txt_temp /tmp/txt_temp执行挂载..

自己构建的镜像启动docker容器，直接退出，查看容器日志报错信息，没有任何别的信息。原因：window下创建shell脚本，copy至docker镜像中，镜像是基于linux系统的，由于windows和linux对换行对应的转移符处理的不同，导致报此异常解决方法：将文件转为unix格后再次将镜像推送到docker即可...

由于私服从nexus迁移到JFrog artifactory，1）参考网上deploy jar到artifactory中，如下图2）配置pom.xml<distributionManagement><repository><id>XXX</id><name>制品仓库(研发、测试)-releases</name><url>https://repo.XXX.com.cn:443/artifac..

什么是事务事务是应用程序中一系列严密的操作，所有操作必须成功完成，否则在每个操作中所作的所有更改都会被撤消。也就是事务具有原子性，一个事务中的一系列的操作要么全部成功，要么一个都不做。事务的结束有两种，当事务中的所以步骤全部成功执行时，事务提交。如果其中一个步骤失败，将发生回滚操作，撤消撤消之前到事务开始时的所以操作。事务的 ACID事务具有四个特征：原子性（ Atomicity ）、一致性（ Consistency ）、隔离性（ Isolation ）和持续性（ Durability ）。

一、自定义函数1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。3）根据用户自定义函数类别分为以下三种：（1）UDF（User-Defined-Function） 一进一出（2）UDAF（User-Defined Aggregation Function） ...

一、 全局排序（Order By）Order By：全局排序，只有一个Reducer1）使用ORDER BY 子句排序ASC（ascend）: 升序（默认）DESC（descend）: 降序2）ORDER BY 子句在SELECT语句的结尾3）案例实操（1）查询员工信息按工资升序排列hive (default)> select * from emp order by sal;（2）查询员工信息按工资降序排列hive (default)> select ..

1.1 数据导入1.1.1 向表中装载数据（Load）1）语法hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表（3）inpath:表示加载数据的路径（4）o

1.1 创建数据库CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database

一、基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byt

1.1 Hive安装地址1）Hive官网地址http://hive.apache.org/2）文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3）下载地址http://archive.apache.org/dist/hive/4）github地址https://github.com/apache/hive1.2 MySql安装1.2.1 安装包准备1）卸载自带的Mysql-l

一、概述（1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。（3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。（4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

一、基本操作介绍 命令基本语法 功能描述 help 显示所有操作命令 lspath 使用 ls 命令来查看当前znode的子节点 -w监听子节点变化 -s 附加次级信息 create 普通创建 -s 含有序列 -e 临时（重启或者超时消失） get path 获得节...

1）集群规划在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。2）解压安装（1）解压Zookeeper安装包到/work/目录下（2）重命名为zookeeper mv apache-zookeeper-3.5.7-bin/ zookeeper（3）同步/work/zookeeper目录内容到hadoop102、hadoop1033）配置服务器编号（1）在/work/zookeeper这个目录下创建zkDa...

一、需求介绍 统计每一个手机号耗费的总上行流量、下行流量、总流量（1）输入数据1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3 132 1512 2004 13966251146 192.168.100.1 240 0 4045 18271575951 192.168....

一、DataNode工作机制（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（4）集

思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文

一、剖析hdfs文件写入（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。（2）NameNode返回是否可以上传。（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后...