逝无痕——kaidy

转载 软件测试常用术语总结

文章目录根据测试方法划分：黑盒测试、白盒测试、灰盒测试黑盒测试：白盒测试：灰盒测试：根据测试流程/开发阶段划分：单元测试阶段：集成测试阶段：系统测试阶段：验收测试阶段：根据测试的侧重划分：功能测试与性能测试软件的性能包括很多方面，主要有时间性能和空间性能两种。性能测试(广义)包括：性能测试(狭义)负载测试（Load Test）压力测试（Stress Test 强度测试）配置测试(Configura...

原创 基于linux和eclipse的mapreduce程序本地模式和集群模式

文章目录本地模式本地模式（输入输出数据在本地）本地模式（输入输出数据在HDFS）集群模式本地模式mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行。在本地运行可以使用debug进行跟踪代码，方便查错，在本地运行主要作用是看mapreduce的业务逻辑是否正确;处理的数据及输出结果可以在本地文件系统，也可以在hdfs上;本地模式非常便于进行业务逻辑的deb...

原创 Spark History server配置使用

文章目录为什么需要HistoryServerHistoryServer简介HistoryServer配置1 新建保存spark events的目录2 配置spark-defaults.conf3 配置spark-env.sh启动HistoryServer为什么需要HistoryServer在Spark安装成功，通过spark-submit工具提交任务后，只要在Spark应用程序运行期间，可以通...

原创 Hadoop日志详解

文章目录Hadoop日志详解1 Hadoop 系统服务输出的日志1.1 修改Hadoop日志目录1.2 修改YARN日志目录2 Mapreduce程序输出来的日志2.1 作业运行日志2.2 任务运行日志 (Container 日志)Hadoop日志详解Hadoop的日志大致可以分为两大类:1、 Hadoop 系统服务输出的日志；2、 Mapreduce程序输出来的日志。且这两类的日志存放...

原创 使用SBT构建scala项目（导入Eclipse开发）

文章目录一、运行环境二、创建scala eclipse项目2.1 创建工程目录2.2 生成eclipse项目文件2.3 导入Eclipse中三、Eclipse开发四、打包发布（assembly）一、运行环境LinuxScala 2.11.12Spark 2.4.0sbt 1.2.8 (可以通过/usr/local/sbt/bin/sbt sbtVersion查看)Scala IDE ...

原创 SBT简介

文章目录一、关于SBT二、为什么使用SBT三、SBT工程目录结构四、SBT交互模式一、关于SBTSBT是一个现代构建工具。它是用Scala编写的，并且针对Scala也提供了很多方便快捷的功能。它也是一个通用的构建工具。二、为什么使用SBT强大的依赖管理功能Ivy用来管理依赖一个只会根据需求更新的模型所有任务的创建都支持Scala可连续执行命令可以在工程的上下文里启动REP...

原创 Linux手动安装sbt步骤

文章目录一、下载sbt安装包二、安装1、将下载的二进制包移动到/usr/local目录，解压缩文件包2、配置PATH环境变量三、测试sbt是否安装成功一、下载sbt安装包从sbt官网下载地址：http://www.scala-sbt.org/download.html下载安装包，以sbt-1.2.8.tgz为例。二、安装1、将下载的二进制包移动到/usr/local目录，解压缩文件包ta...

原创 Hive基本操作

文章目录1、Hive在HDFS上的默认存储路径2、hive中的数据库查看数据库切换数据库(如切换到数据库kaidy)创建数据库删除数据库3、hive中的表查看数据库中所有的表创建表删除表查看已创建的表信息输出创建指定表或者视图的语句列出表所有属性查看表中的全部数据查看表中的记录数查看表中前5条数据外部表和内部表4、分区(partition)建立分区表查看分区信息partition指定分区查看数据删...

原创 spark-sql on Hive的配置记录

文章目录Spark配置启动Hive的metastore服务重启spark集群验证配置是否成功Spark配置在${SPARK_HOME}/conf/目录下新建hive-site.xml文件，并在文件中做如下配置：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?&g...

原创 Hadoop相关配置参数整理

文章目录core-site.xml部分参数hdfs-site.xml部分参数core-site.xml部分参数参数名默认值说明建议hadoop.native.libtrue设置是否使用本地库（Hadoop默认是启动本地库的）-hdfs-site.xml部分参数参数名默认值说明建议dfs.namenode.name.dirfile:...

原创 Spark源码编译支持Parquet存储格式

文章目录Spark源码编译Hadoop-Parquet相关jar包下载查找与系统（此处以hive为例）的parquet版本号下载hadoop-parquet相关jar包Spark配置Spark源码编译Spark源码编译方式部署Spark时，为了支持Parquet功能，需要在源码编译时指定支持Parquet功能（即在编译命令中带上”parquet-provided“参数），具体的编译命令如下：...

原创 YARN ResourceManager重启作业保留配置

文章目录开启Recovery（即Enable RM Restart）YARN可以通过配置支持ResourceManager重启过程中，不影响正在运行的作业，即重启后，作业还能正常继续运行直到结束。具体参考官网：https://hadoop.apache.org/docs/r3.1.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.htm...

原创 YARN Fair Scheduler配置

文章目录启用Fair Scheduler队列配置参考启用Fair Scheduler在${HADOOP_HOME}/etc/hadoop/yarn-site.xml文件中添加如下配置： <property> <name>yarn.resourcemanager.scheduler.class</name> <value...

原创 Hive on Spark on YARN配置整理

文章目录版本兼容性spark安装（建议源码编译安装）源码编译（以spark-2.3.3版本，hadoop-3.1.0版本为例）YARN配置Hive配置To add the Spark dependency to HiveConfigure Hive execution engine to use SparkConfigure Spark-application configs for HiveAl...

原创 YARN相关配置参数整理

文章目录资源相关配置参数以下所述参数均在yarn-site.xml文件中配置资源相关配置参数yarn.scheduler.minimum-allocation-mbyarn.scheduler.maximum-allocation-mb说明：单个容器可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值。默认值：1024/8192yarn.schedule...

原创 Spark on YARN实现动态资源分配配置记录

文章目录使能Spark资源动态分配使能External Shuffle ServiceExternal Shuffle Service配置使能Spark资源动态分配进入${SPARK_HOME}/conf/目录，在spark-defaults.conf文件中新增如下配置如果spark-defaults.conf文件不存在，从spark-defaults.conf.template模板文件拷贝...

原创 搭建Hive on Spark on YARN常见问题及解决方案

文章目录1、在Hive cli中往表中插入记录，报错信息如下错误信息a错误信息b1、在Hive cli中往表中插入记录，报错信息如下错误信息aUnrecognized Hadoop major version number: 3.2.0当时环境版本信息：hadoop版本：3.2.0spark版本：2.4.0hive版本：3.1.1解决方案：版本兼容性问题，通过查看hive源码根...

原创 基于CentOS7的Elasticsearch集群搭建记录

文章目录环境2台服务器部署结构一、前提1、JDK版本要求1.8及以上;2、ES不能以root用户身份运行 确保运行用户对各使用到的目录的权限;2.1、创建elsearch用户组及elsearch用户2.2、更改安装目录elasticsearch-6.6.1及内部文件的所属用户及组为elsearch:elsearch3、配置操作系统vm.max_map_count参数，请使用root用户登录系统，执...

原创 Spark常见问题及解决方案

文章目录Spark-shell问题：Spark-shell启动时报错WARN NativeCodeLoader:60 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicableSpark-shell问题：Spark-shell启动时报错WARN ...

原创 基于CentOS7的hive远程模式部署

文章目录3台服务器部署结构一、前提条件1、确保集群中已经安装好了hadoop（2.7及以上版本）；二、安装元数据库三、安装hive1、下载hive安装包，下载地址：http://mirror.bit.edu.cn/apache/hive/hive-3.1.1/2、将下载的hive安装包放到/usr/local目录，解压缩安装包3、配置hive环境变量4、验证hive是否安装成功四、配置hive1、...

原创 CentOS7离线安装MySql

文章目录一、首先清除CentOS7系统中默认的数据库mariadb，否则不能安装mysql二、安装MySql1、下载MySql的相关rpm包2、将下载的mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar放到/usr/local/mysql目录，解压缩安装包3、切换到下载包目录下（cd 你的下载目录），然后对每个包进行一次安装；4、修改MySql配置5、通过以下命令，完...

原创 基于CentOS7的Spark on YARN模式集群部署

文章目录3台服务器部署结构目录规划一、前提条件1、确保集群中已经安装好了hadoop（2.7及以上版本）；2、确保集群中每台机器上已经安装好了scala（2.12及以上版本）；二、安装Spark-2.4.01、下载Spark安装包，下载地址：http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-wi...

原创 基于CentOS7的GitLab 之 PlantUML 的配置过程记录

文章目录一、docker安装和启动二、下载官方plantuml-server镜像1：先从一个有网络的电脑下载plantuml-server镜像2：保存镜像到本地文件3：把镜像拷贝到无网络的电脑，然后通过docker加载镜像即可。三、使用docker启动plantuml服务四、在Gitlab上配置开启PlantUML一、docker安装和启动yum -y install dockersyste...

原创 基于CentOS7的Hadoop3.2.0完全分布式集群部署记录

文章目录3台服务器部署结构目录规划一、前提1、安装Java，具体参考：https://blog.csdn.net/wangkai_123456/article/details/536128062、永久修改CentOS服务器hostname主机名，主机名和IP一一对应3、配置hosts文件【集群的所有节点】4、设置SSH无密码登录4.1、 在hadoopSvr1上生成公钥4.2、分发公钥4.3、设置...

原创 搭建可视化日志分析平台ELK

文章目录ELK是什么为什么要用ELKELK如何安装搭建ElasticSearch 安装LogStash安装Kibana安装ELK是什么E=ElasticSearch，一款基于Lucene的分布式搜索引擎；L=LogStash， 一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元；K=Kibana， 一款配合ElasticSearch的web可视化界面，内置非常各种查询，...

原创 MongoDB分布式数据库集群运行慢问题诊断

目录负载高问题Q：CPU利用率高、磁盘IO使用率高，想看看数据库正在执行什么操作？连接数问题Q：如何查看当前连接数Q：如何查看当前连接主要来自哪些服务器节点最新在定位MongoDB分布式数据库集群运行慢的问题，在此总结一下，排查的方向：正在跑一些计算量很大的mapreduce或者aggregation任务;查询集合时，没有合理的利用索引，导致全表扫描或排序;...

转载 PlantUML学习

目录 一、时序图二、用例图三、活动图四、组件图五、状态图一、时序图 二、用例图三、活动图四、组件图五、状态图

原创 Markdown常用语法

目录Markdown常用语法标题列表无序列表有序列表链接文字链接自动链接插入图片代码和引用代码代码块引用斜体和粗体斜体粗体粗斜体删除线注脚表格表格换行补充补充Markdown常用语法标题代码:# 一级标题## 二级标题### 三级标题#### 四级标题##### 五级标题##...

原创 使用rs.initiate初始化创建（有权限控制的）副本集报not authorized on admin to execute command解决方案

报错具体描述{        "ok" : 0,        "errmsg" : "not authorized on admin to execute command { replSetInitiate: { _id: \"xnRs2\", members: [ { _id: 0.0, host: \"10.62.124.43:27018\", priority: 1.0 } ] } ...

原创 CentOS7下实现E9000 + KS3200存储扩容

一、组网规划1、iSCSI双控直连组网2、IP规划：包括主机系统和存储系统上的IP规划配置存储系统侧IP配置需遵循以下原则：1）iSCSI 主机端口的 IP 地址不能与管理网口的 IP 地址配置在同一个网段中。2）磁阵每个 GE 口分配独立的 IP 地址， 同一个控制器的 4 个业务网口不可以配置在同一网段。主机系统侧配置IP的方法在此不做详细介绍当存储系统和主机系统的IP 都配...

原创 5G UE接入MSG消息流程

转载 LTE参考信号CRS、DRS、SRS、DMRS详解

SRS:Sounding Reference Signal(上行探测参考信号)作用：上行信道估计，选择MCS和上行频率选择性调度，TDD系统中，估计上行信道矩阵H，用于下行波束赋形。DMRS：DemodulationReference Sgnal，解调参考信号，在LTE中用于PUSCH和PUCCH信道的相关解调。CRS:Cell Reference Signal(小区参考信号) 作用：（1）下行信...

原创 MongoDB解惑

1、验证查询是否使用了索引参考：http://www.jb51.net/article/121017.htm参考：http://blog.csdn.net/wanght89/article/details/779428522、使用正确的姿势连接分片集群参考：http://www.mongoing.com/archives/3909错误排查客户端表现：server w

原创 MongoDB性能优化系列：查看当前正在执行的操作

查看MongoDB正在执行哪些操作rs1:PRIMARY> db.currentOp(){ "inprog" : [ { "desc" : "conn111911", "threadId" : "140075999385344",

原创 Linux创建LV（逻辑卷）并挂载

在Linux系统下，我们常常会遇到磁盘扩容的情况，通常，我们在安装系统时使用LVM来管理我们的文件系统，这样就可以弹性调整文件系统的容量，下面就以（Red Hat Enterprise Linux Server release 6.6）为例来介绍如何创建LV（逻辑卷）。1、新加磁盘后，查看现有磁盘使用情况#fdisk -l#pvs我们发现扩展分区/dev/sda7已经挂载到/hom

转载 Linux下对LVM逻辑卷分区大小的调整（针对xfs和ext4不同文件系统）

当我们在安装系统的时候，由于没有合理分配分区空间，在后续维护过程中，发现有些分区空间不够使用，而有的分区空间却有很多剩余空间。如果这些分区在装系统的时候使用了lvm（前提是这些分区要是lvm逻辑卷分区），那么就可以轻松进行扩容或缩容！不同文件系统类型所对应的创建、检查、调整命令不同，下面就针对xfs和ext2/3/4文件系统的lvm分区空间的扩容和缩容的操作做一记录：-------------

转载 Linux LVM-删除卷组逻辑卷物理卷

查看卷组相关信息[root@localhost /]# vgscan    Reading all physical volumes.  This may take a while...    Found volume group "VolGroup00" using metadata type lvm2  查看卷组VolGroup00包含的PV

原创 CentOS7部署VNC服务

一、安装X Window System1、切换到root用户，执行yum groupinstall "X Window System"2、执行yum install gnome-classic-session gnome-terminal nautilus-open-terminal control-center liberation-mono-fonts -y安装相关组件3、设置

原创 CentOS7服务器基础配置

安装镜像源下载centos镜像，刻盘装机 http://mirrors.zte.com.cn/centos/7.4.1708/isos/x86_64/用光盘安装，从IT借个光驱，设置电脑从光驱安装系统，安装完成后，修改电脑启动从硬盘启动对于E9000刀片服务器，可以通过将服务器OMC口设置为大网IP，然后远程通过 虚拟光驱 安装操作系统  配置静态IP配置系统的ip...

原创 linux单用户模式

有时候大家可能会忘记自己的root密码，或者错误（命令输入错误，命令位置输入有误等）编辑了一个/etc目录下的核心文件导致系统不能正常启动了！怎么办？重新安装系统那是实在没有办法之举！那我们就进入单用户模式把错误的配置文件改过来，重启系统不就好了吗！接下来咱们就学习一下使用“Linux单用户模式”来恢复系统。1、重启服务器，进入如下界面后输入“e”进入GRUB页面2、进入后