自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(26)
  • 收藏
  • 关注

原创 docker镜像启动命令修改

一、需求背景 有个服务是用docker运行的,然后这次需要加上监控,需要在启动命令后面加上一些配置参数;由于镜像是之前交付,没有当时的dockerfile,所有只能在原先的镜像上加上一个新的启动命令。二、操作1)编写新的docerfileFROM centos_openssl_sqluldr2:1.5.0 WORKDIR /usr ENTRYPOINT ["/bin/sh", "-c", "/usr/local/project/boot2.sh"]这里fr...

2021-07-01 09:41:02 1534 1

原创 linux统计大日志文件字符次数&统计接口调用量

一、背景 有个服务每天调用量特别大,每天10G+的日志,一般编辑文件无法打开并统计接口日志打印的数量。二、

2021-06-07 09:31:19 826

原创 linux服务器中模拟调用soapui调用webservice接口

服务器需要安装curl,命令如下:1.新建1.xml请求报文文件2.执行命令curl --header "Content-Type: text/xml;charset=UTF-8" --header "SOAPAction:xxx" --data @1.xml http://xx/IdentityService?wsdlSOAPAction:打开soapui获取该接口对应的值调用http+json接口:curl -H "Content-Type: applica...

2020-11-27 11:04:08 1560

原创 Rancher中k8s nfs挂载远程盘Permission denied &Operation timed out问题

由于使用的Rancher管理的k8s服务,服务中会生成一些文件,因容器销毁后文件丢失故将文件挂载到其他服务器。这里采用nfs进行远程挂载nfs服务端/etc/exports增加:/data/upload/images/txt_temp 10.2.57.0/24(rw,no_root_squash)客户端执行挂载命令:mount -v -o nolock -t nfs 10.x.x.x:/data/upload/images/txt_temp /tmp/txt_temp执行挂载..

2020-11-27 11:01:23 2096

原创 k8s镜像服务启动报错exec user process caused “no such file or directory

自己构建的镜像启动docker容器,直接退出,查看容器日志报错信息,没有任何别的信息。原因:window下创建shell脚本,copy至docker镜像中,镜像是基于linux系统的,由于windows和linux对换行对应的转移符处理的不同,导致报此异常解决方法:将文件转为unix格后再次将镜像推送到docker即可...

2020-11-27 10:56:52 1091

原创 java私服仓库迁移JFrog artifactory造成的问题

由于私服从nexus迁移到JFrog artifactory,1)参考网上deploy jar到artifactory中,如下图2)配置pom.xml<distributionManagement><repository><id>XXX</id><name>制品仓库(研发、测试)-releases</name><url>https://repo.XXX.com.cn:443/artifac..

2020-11-27 10:55:43 756

转载 mysql事物隔离级别

什么是事务事务是应用程序中一系列严密的操作,所有操作必须成功完成,否则在每个操作中所作的所有更改都会被撤消。也就是事务具有原子性,一个事务中的一系列的操作要么全部成功,要么一个都不做。事务的结束有两种,当事务中的所以步骤全部成功执行时,事务提交。如果其中一个步骤失败,将发生回滚操作,撤消撤消之前到事务开始时的所以操作。事务的 ACID事务具有四个特征:原子性( Atomicity )、一致性( Consistency )、隔离性( Isolation )和持续性( Durability )。

2020-11-27 10:49:49 71

翻译 hive自定义函数

一、自定义函数1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。3)根据用户自定义函数类别分为以下三种:(1)UDF(User-Defined-Function) 一进一出(2)UDAF(User-Defined Aggregation Function) ...

2020-11-24 14:52:03 5167

翻译 hive排序大全

一、 全局排序(Order By)Order By:全局排序,只有一个Reducer1)使用ORDER BY 子句排序ASC(ascend): 升序(默认)DESC(descend): 降序2)ORDER BY 子句在SELECT语句的结尾3)案例实操(1)查询员工信息按工资升序排列hive (default)> select * from emp order by sal;(2)查询员工信息按工资降序排列hive (default)> select ..

2020-11-24 14:39:22 5806

翻译 Hive DML数据操作

1.1 数据导入1.1.1 向表中装载数据(Load)1)语法hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];(1)load data:表示加载数据(2)local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表(3)inpath:表示加载数据的路径(4)o

2020-11-24 14:31:45 71

翻译 Hive DDL数据定义

1.1 创建数据库CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database

2020-11-24 14:27:15 111

翻译 Hive数据类型

一、基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byt

2020-11-24 14:19:44 107

翻译 Hive安装 && 命令行操作 && 常用属性配置

1.1 Hive安装地址1)Hive官网地址http://hive.apache.org/2)文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3)下载地址http://archive.apache.org/dist/hive/4)github地址https://github.com/apache/hive1.2 MySql安装1.2.1 安装包准备1)卸载自带的Mysql-l

2020-11-24 13:53:04 449

翻译 hadoop HA概述介绍

一、概述(1)所谓HA(High Availablity),即高可用(7*24小时不中断服务)。(2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。(3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。(4)NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启NameNode机器需要升级,包括软件、硬件升级,此时集群也将无法使用

2020-11-23 10:24:03 3596

翻译 zookeeper在Linux客户端操作命令大全

一、基本操作介绍 命令基本语法 功能描述 help 显示所有操作命令 lspath 使用 ls 命令来查看当前znode的子节点 -w监听子节点变化 -s 附加次级信息 create 普通创建 -s 含有序列 -e 临时(重启或者超时消失) get path 获得节...

2020-11-20 17:32:21 451

原创 分布式zookeeper linux集群搭建

1)集群规划在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。2)解压安装(1)解压Zookeeper安装包到/work/目录下(2)重命名为zookeeper mv apache-zookeeper-3.5.7-bin/ zookeeper(3)同步/work/zookeeper目录内容到hadoop102、hadoop1033)配置服务器编号(1)在/work/zookeeper这个目录下创建zkDa...

2020-11-20 17:11:31 63

翻译 windows本地连接hadoop集群执行MapReduce

一、需求介绍 统计每一个手机号耗费的总上行流量、下行流量、总流量(1)输入数据1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3 132 1512 2004 13966251146 192.168.100.1 240 0 4045 18271575951 192.168....

2020-11-20 13:56:29 242

翻译 DataNode工作机制 & 新增hadoop节点 &下线节点

一、DataNode工作机制(1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。(3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。(4)集

2020-11-19 17:30:50 362

翻译 NameNode和SecondaryNameNode工作流程 && Fsimage和Edits解析

思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数据丢失。因此,引入Edits文

2020-11-19 15:57:50 612 1

翻译 hdfs数据读取&写入流程剖析

一、剖析hdfs文件写入(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。(2)NameNode返回是否可以上传。(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。(5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后...

2020-11-19 15:02:23 164

翻译 windows本地通过java调用hadoop常用基础api

一、添加pom.xml依赖 <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j-impl</artifactId> <version>2.12.0</version> </dependency> <dependency...

2020-11-19 14:54:39 292

原创 hdfs命令行shell操作

bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 两个是完全相同的。hdfs的操作可以分为三类: 1. 本地 -> HDFS(上传) 2.HDFS->本地(下载) 3.HDFS->HDFS(hdfs内部操作)一、上传 1.put:从本地文件系统中拷贝文件到HDFS路径去 put2.txt :本地文件路径,/:上传到hdfs后的路径2.copyFromLocal:...

2020-11-18 18:02:18 199

原创 hadoop配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下:1)配置yarn-site.xml viyarn-site.xml,在该文件里面增加如下配置<property> <name>yarn.log-a...

2020-11-18 16:59:14 124

原创 hadoop历史服务器搭建

为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下1.配置mapred-site.xml vi mapred-site.xml,在该文件里面增加如下配置。<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value></property&...

2020-11-18 15:59:44 94

原创 从零开始hadoop集群搭建

一、配置jdk1.将jdk包解压并重命名tar -zxvf jdk-8u212-linux-x64.tar.gzmv jdk1.8.0_212/ jdk2.配置环境变量 新建/etc/profile.d/my_env.sh文件 vi/etc/profile.d/my_env.sh,添加如下内容#JAVA_HOMEexport JAVA_HOME=/work/jdkexport PATH=$PATH:$JAVA_HOME/bin 重启xshell窗口,让环...

2020-11-18 15:46:03 139

原创 linux hadoop免密码配置

一、先给主机配置域名这里有三台服务器分别是192.168.56.101、192.168.56.102、192.168.56.103,设置对应域名为hadoop101、hadoop102、hadoop1031.手动本次将域名改为hadoop1012.修改/etc/hosts文件二、这里写个同步文件脚本便于后面操作文件同步1.vixsync#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguem...

2020-11-17 20:57:22 484

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除