逝无痕——kaidy

参考：https://www.sohu.com/a/220254464_472880目前，全球最有可能优先部署的5G频段为n77、n78、n79、n257、n258和n260，就是3.3GHz-4.2GHz、4.4GHz-5.0GHz和毫米波频段26GHz/28GHz/39GHz。5G NR3GPP已指定5G NR 支持的频段列表（可查看TS38104 5.2章节），5G NR频谱范围可达100GHz，指定了两大频率范围：①Frequency range 1 （FR1）：就是我们通常讲的6GHz以下

文章目录优雅的关闭nodeA上的mongod实例修改主机名和IP地址配置分片具体的修改方法参考：https://docs.mongodb.com/v3.2/tutorial/change-hostnames-in-a-replica-set/下面以修改集群中的一个分片的一个节点（nodeA）为例来进行说明，其它节点操作类似，假设待修改IP的节点如下旧主机名新主机名原IP新IPserverrs13-c40710.22.124.3110.130.140.34优雅的关闭n

文章目录du的功能du常用的选项：du -hdu -adu -sdu --apparent-sizedu -cdu -ldu -L查看目录下所有文件和一级子目录所占用磁盘空间的大小。du -ah --max-depth=1 a表示显示目录下所有的文件和文件夹（不含子目录）h表示以人类能看懂的方式max-depth表示目录的深度。du命令用来查看目录或文件所占用磁盘空间的大小。常用选项组合为：du -shdu的功能du reports the amount of disk space use

文章目录关闭待修改IP节点中的NodeManager和DataNode进程修改防火墙规则修改集群中所有节点的hosts文件重启待修改IP节点中的NodeManager和DataNode进程由于某些原因（如网络改造），Hadoop集群中部分节点的IP需要做变更，这个时候该怎么办呢？现以集群中worker1、worker2两个节点需要修改IP，给出给出解决方案如下：主机名老IP新IPworker1192.168.11.110.63.150.1worker2192.168.1

文章目录正常的编译安装/卸载关于卸载正常的编译安装/卸载源码的安装一般由3个步骤组成：配置(configure)编译(make)安装(make install)。configure文件是一个可执行的脚本文件，它有很多选项，在待安装的源码目录下使用命令./configure –help可以输出详细的选项列表。其中–prefix选项是配置安装目录，如果不配置该选项，安装后可执行文件默认放在/usr /local/bin，库文件默认放在/usr/local/lib，配置文件默认放在/usr/loca

文章目录甘特图流程图序列图统计图甘特图示例Mon 06Mon 13Mon 20Completed task Active task Future task Future task2 Completed task in the critical line Implement parser and jison Create tests for parser F

文章目录用例图类图序列图/时序图/顺序图流程图活动图状态图协作图/通信图包图组件图部署图用例图描述需求的场景或粗略用例参考：https://blog.csdn.net/qq_35495763/article/details/80764914类图最常用，描述子系统或模块的内部结构序列图/时序图/顺序图适用场景：单个场景下，子系统间或对象间的交互操作示例#mermaid-svg-EKUkLp07HiRS9gW3 .label{font-family:'trebuchet ms', verdan

文章目录柱形图&条形图折线图面积图饼图散点图气泡图仪表盘雷达图框架图矩形树图漏斗图词云图地图热力地图甘特图柱形图&条形图适用场景：数据量对比折线图适用场景：数据量随时间的变化趋势，系列趋势对比面积图适用场景：系列占比，时间趋势占比饼图适用场景：系列占比、系列大小对比（玫瑰图）散点图适用场景：相关性分析、 数据分布情况气泡图适用场景：分类数据对比，相关性分析仪表盘适用场景：时钟，比率展现雷达图适用场景：维度分析、系列对比，系列权重分析框架图适用场景：层级展示

文章目录背景解决方案开发环境创建policy创建token生产环境创建policy创建token微服务配置查看注册的微服务背景有时候，出于资源的限制或维护方便等因素，我们只部署了一个consul集群。生产环境和开发环境的微服务都使用这一个consul集群，在这种情况下，为了是开发和生成互不影响，该如何实现开发和生产环境的隔离呢？解决方案使用不同的Token和Policy来实现隔离。例如，针对 开发 和 生成，分别新建一个token和policy，具体如下开发环境创建policy点击 ALC 菜

文章目录背景网络代理配置背景在公司内或者实验室环境，服务器没有直接连接外网，需要通过网络代理从外网下载镜像。网络代理配置该方法是持久化的，修改后会一直生效。该方法覆盖了默认的docker.service文件。1、为docker服务创建一个内嵌的systemd目录mkdir -p /etc/systemd/system/docker.service.d2、创建/etc/systemd/system/docker.service.d/http-proxy.conf文件，并添加HTTP_PROXY

文章目录英文原文：https://developers.google.com/protocol-buffers/docs/proto3?hl=zh-cn#generating参考：https://colobu.com/2017/03/16/Protobuf3-language-guide/#%E5%90%91%E5%90%8E%E5%85%BC%E5%AE%B9%E6%80%A7%E9%97%AE%E9%A2%98

文章目录Postmandocgen此处介绍一个方法，用于将Restful API接口自动化生成markdown/html文档，需要用到两个工具Postman（Restful API接口开发测试工具）docgen（API文档生成工具）Postman下载、安装、创建collection，在collection中做Restful API开发，用于开发测试，在此处不做详述开发好API后将API导出为json文件，在postman工具中单击 collection，选择 Export 即可实现。doc

文章目录匿名组合继承非指针方式组合匿名组合具体参见：https://blog.csdn.net/wangkai_123456/article/details/107894993继承Golang提供了继承机制，但采用匿名组合的方式实现。非指针方式组合示例如下// 基类type Base struct { // 成员变量}func (b *Base) 函数名(参数列表) (返回值列表) { // 函数体}// 派生类type Derived struct {

文章目录什么是组合？非匿名组合和匿名组合非匿名组合匿名组合什么是组合？一个结构体嵌套到另一个结构体，称作组合。示例如下：type Logger struct{}type Work struct{ log Logger}type Work2 struct{ log *Logger}如上边代码所示，Work类中定义了一个Logger类型的变量，这种是比较常见的引入方式，称之为非匿名组合非匿名组合和匿名组合非匿名组合如果一个struct嵌套了另一个【有名】的结构体，那么这个模式叫做

文章目录下载 Consul安装 Consul配置 systemd配置 Consul (server)通常配置自动加入集群Server 配置Consul UI配置 Consul (client)启动 Consul高可用性单集群架构所有的 Consul 主机上都要完成以下步骤。下载 Consul安装 Consul配置 systemd配置 Consul (server) 或 (client)启动 Consul本手册适用于运行着 systemd 和服务管理器的类 Linux 主机。下载 Co

文章目录参考：https://github.com/go-playground/validatorhttps://blog.csdn.net/guyan0319/article/details/105918559/

文章目录func DoQuery(db *sql.DB, sqlInfo string, args ...interface{}) ([]map[string]interface{}, error) { rows, err := db.Query(sqlInfo, args...) if err != nil { return nil, err } columns, _ := rows.Columns() columnLength := len(columns) cache := make

文章目录copy函数copy函数数组切片内容复制，用于将内容从一个数组切片复制到另一个数组切片。如果加入的两个数组切片不一样大，就会按其中较小的那个数组切片的元素个数进行复制。slice1 := []int{1, 2, 3, 4, 5} slice2 := []int{5, 4, 3} copy(slice2, slice1) // 只会复制slice1的前3个元素到slice2中 copy(slice1, slice2) // 只会复制slice2的3个元素到slice1的前3个位置.

文章目录什么是protobuf安装protoc安装gogo protobuf参考什么是protobufprotobuf是Google官方出品的一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。使用protobuf，需要先书写.proto文件，然后编译该文件。编译proto文件则需要使用到官方的protoc工具，安装文档请参看：https://github

文章目录最小权限配置分离外部监控本文仅站在技术人的角度，从这次的代码泄露事件，聊聊在代码的安全管理上，通常都需要做哪些事来预防此类事件的发生。同时，大家在阅读本文的时候，也可以深入思考下，自己团队是否也存在类似的问题，经过这次的事件，是否有必要针对性的做一些优化。最小权限“最小权限”原则是我们在学习Linux用户管理时候经常被提到，并且被反复强调的内容。该原则是指每个程序和系统用户都应该具有完成任务所必需的最小权限集合。赋予每一个合法动作最小的权限，就是为了保护数据以及功能避免受到错误或者恶意行为的破

文章目录系统时间与pg时间不一致?//查看pg的时区与时间postgres=# select now(); now//查看时区postgres=# show timezone; TimeZone修改pg时区session级配置用户级配置数据库级配置全局配置（永久生效）//修改完配置时重新加载[root@localhost ~]$ pg_ctl reloadserver signaled[root@localhost ~]$ psqlpostgres=# show t

错误：protoc --gogofast_out=. *.protogithub.com/gogo/protobuf/gogoproto/gogo.proto: File not found.api.proto:5:1: Import "github.com/gogo/protobuf/gogoproto/gogo.proto" was not found or had errors.

文章目录什么是数据库设计三范式几个比较经典的设计一对一第一种方案：分两张表存储，共享主键第二种方案：分两张表存储，外键唯一一对多多对多什么是数据库设计三范式设计数据库表的时候所依据的规范，共三个规范：第一范式：要求有主键，并且要求每一个字段原子性不可再分第二范式：要求所有非主键字段完全依赖主键，不能产生部分依赖第三范式：所有非主键字段和主键字段之间不能产生传递依赖几个比较经典的设计一对一第一种方案：分两张表存储，共享主键例如表：t_husbandhno(pk)name

设计原则高内聚（复用）低耦合（解耦）拆分原则一般按垂直业务拆分，一个服务对应独立的库（也可能出现多个服务公用一个库，从设计上通常没有公用表），绝大多数情况下，一个服务和一个数据库搭配，对外提供接口。路由层解决鉴权配置类的用配置中心...

时序图参考：https://www.cnblogs.com/ywqu/archive/2009/12/22/1629426.html

文章目录PowerDesigner中如何建自增列？PowerDesigner中如何建自增列？在CDM（概念数据模型）中，在属性中把columns中要自增的字段的类型设置为serial即可。...

文章目录GORM使用注意事项UpdateGORM使用注意事项UpdateWARNING when update with struct, GORM will not update fields that with zero value当用结构体更新的时候，当结构体字段的值是""或者0，false等，这些字段就不会更新。...

文章目录创建新用户创建新数据库创建新用户初次安装后，默认生成一个名为postgres的数据库和一个名为postgres的数据库用户。这里需要注意的是，同时还生成了一个名为postgres的Linux系统用户。下面，我们使用postgres用户，来生成一个新用户1、切换到postgres用户su - postgres2、使用psql命令登录PostgreSQL控制台。psql这时...

文章目录安装安装Install the repository RPM:yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpmInstall the client packages:yum install po...

文章目录shell（what）bash（what）常见错误运行shell脚本时报错"[[ : not found"shell（what）bash（what）常见错误运行shell脚本时报错"[[ : not found"问题原因bash与sh是有区别的，两者是不同的命令，且bash是sh的增强版，而"[[]]"是bash脚本中的命令，因此在执行时，使用sh命令会报错。解决方案将sh...

文章目录什么是Jenkins2.0 Pipeline为什么要使用Jenkins2.0 PipelinePipeline的功能和优点Pipeline原理与流程Jenkins2.0 Pipeline关键DSL语法及示例什么是Jenkins2.0 PipelinePipeline as Code是Jenkins 2.0版本的精华所在，所谓Pipeline，简单来说，就是一套运行于Jenkins上的工...

文章目录git add之后，想撤销addgit commit之后，想撤销commitcommit注释写错了，只是想改一下注释git add之后，想撤销addgit add . //添加所有文件执行完add后，想撤回add，怎么办？解决办法git reset HEADgit commit之后，想撤销commit写完代码后，我们一般这样git commit -m "本功能全部完成"...

文章目录不愿意讲完整的真话不愿意讲完整的真话why员工在工作过程中不免有考虑不周到或犯错的时候，这时员工在向领导汇报工作的时候往往不愿意讲完整的真话，可能是以前试图向领导讲了完整的真话，结果遭到了领导的严厉批评，或是对自己的发展不利（担心会给领导留下不好的印象），或者说了完整的真话后给自己增加工作量。how员工在向领导汇报工作时讲了完整的真话后，即便发现员工工作有疏忽或犯了错，也不要严厉...

文章目录优先要做的事只有几件懂得什么时候说不在行动之前反复思考考虑问题要眼光宏大、聚焦全景，落实的时候要从细节入手知道什么时候委派任务留出反省和规划的时间保持精力充沛有一个清晰的目标和实现策略结果导向而不是过程导向优先要做的事只有几件why如果你优先要做的事情很多，那就意味着你根本没有优先要做的事。how做事应遵循一项基本原则：事不过三，甚至有时事不过一。懂得什么时候说不why你的...

文章目录概述表示进入某种状态表示对自己身体外部做某事表示一种状态渐变为另一种状态表示引起心理或情感变化概述“get + 动词过去分词”构成系表结构，常见有如下四种情况：表示进入某种状态表示对自己身体外部做某事表示一种状态渐变为另一种状态表示引起心理或情感变化表示进入某种状态phrasemeansexampleget drunk喝醉I get drunk...

文章目录基础工作添加worker如果Spark集群使能了External Shuffle Service功能，添加worker需要采用如下方式如果Spark集群未使能External Shuffle Service功能，添加worker需要采用如下方式新增节点启动验证基础工作新增节点上安装scala;新增节点上新建用于存放spark数据和日志的目录;将新增节点的主机名添加到slaves文...

文章目录新增节点基础准备添加DataNode添加NodeManager刷新节点&HDFS负载均衡删除节点新增节点基础准备主要是设置hadoop运行的系统环境，主要包括系统相关（yum源配置、安装psmisc软件、时间同步配置、LVM配置、防火墙设置），根据需要可选择性实施;配置主机名;修改hosts文件，配置IP和主机名之间映射关系，将集群所有节点都配置进去（集群所有节点保持...

文章目录电话号码情形一：电话号码数字都是连在一起的情形二：电话号码数字区号分隔，比如中间有“-”电话号码情形一：电话号码数字都是连在一起的读法：按顺序读一个个数字读，如果遇到相同的两位数或三位数时,可用double 或 triple,如22,可读作double two,777可读作 triple seven。例如03335120876 o triple three five one two...

文章目录时间方位或地点时间meansphaseexample在……（时间）前面before在……（时间）后面after偶尔once in a whileOnce in a while we went fishing by the river.【翻译】我们偶尔还一起去河边钓鱼。方位或地点meansphaseexample...

文章目录The temperature outside is 20 degrees Celsius.【翻译】外面温度是20摄氏度。

文章目录基本配置区域服务端口和协议组合IP伪装ICMP阻塞端口转发应急模式基本#查看状态systemctl status firewalld#启动systemctl start firewalld#关闭systemctl stop firewalld#开机启动systemctl enable firewalld#开机禁用systemctl disable firewa...

文章目录概述常带有过去分词作宾语补足语的动词过去分词用在表示状态的动词keep、leave等的后面过去分词用在使役have、make的后面过去分词用在感官动词watch、notice、see、hear、listen to、feel、find等的后面过去分词用在want、wish、like、expect、order等表示“希望、愿望、命令”这一类动词的后面作宾语补足语过去分词用在“with + 宾语...

文章目录用户管理查看MYSQL数据库中所有用户权限管理查看数据库中具体某个用户的权限用户管理查看MYSQL数据库中所有用户SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;权限管理查看数据库中具体某个用户的权限show grants for 'hive'@'%';...

文章目录将来进行时语法构成用法在英语时态中，“时“指动作发生的时间，”态“指动作的样子和状态。时间\动作一般完成进行完成进行过去一般过去时过去完成时过去进行时过去完成进行时现在一般现在时现在完成时现在进行时现在完成进行时将来一般将来时将来完成时将来进行时-将来进行时将来进行时表示要在将来某一时间开始，并继续下去...

文章目录操作系统级配置2.1.3禁用MySQL命令历史记录2.1.4禁用MYSQL_PWD环境变量2.1.5禁止MySQL操作系统账号登陆操作系统级配置2.1.3禁用MySQL命令历史记录安全说明在linux /UNIX上，mysql客户机将交互式执行的语句记录到一个历史文件中。默认情况下，该文件在用户的主目录中名为.mysql_history。大多数在mysql客户机应用程序中运行的交互...

文章目录生成证书建立CA目录结构生成根证书生成服务器端证书生成客户端证书MongoDB集群配置将根证书、服务端证书分发到MongoDB集群各节点修改MongoDB集群各节点配置，并重启节点配置所有client使用TLS/SSL配置集群各节点到其它节点的连接使用TLS/SSL配置集群各节点拒绝非TLS/SSL的连接请求修改集群各节点启动配置文件，确保节点重启后使用TLS/SSL生成证书在使用SS...

文章目录助动词定义分类be类助动词have类助动词will类助动词情态动词定义助动词定义协助主要动词构成谓语的词叫助动词，也叫辅助动词。被协助的动词被称作主要动词。助动词用来构成时态和语态。助动词具有语法意义，但没有词汇意义，不可单独作谓语。分类be类助动词be类助动词：be, am, is, are, was, were, been, being。这类助动词与现在分词构成进行时态，...

文章目录短语介词介词短语介词+宾语短语介词+宾语短语介词短语介词是相当于一个介词的词组，短语介词还是个介词，它不能单独作句子成分。如：in front ofat the back ofbecause ofnext toin spite ofaccording toalong withby means oftogether withwith regard toinstead...

文章目录定义动词+副词作及物动词作不及物动词既可作及物动词又可作不及物动词动词+介词动词+副词+介词动词+名词+介词be+形容词+介词定义动词加小品构成的起动词作用的短语叫短语动词（Phrasal Verb）。短语动词相当于一个及物动词或者不及物动词，可以做谓语。动词短语的构成基本有下列几种1）动词+副词作及物动词Turn the light on.Turn on the ligh...

文章目录WhyWhat核心原则附录Why可理解性好;查询性能高;减少存储冗余的信息，即减少空间开销;What事实表与维度表主键与外键核心原则物理世界的每一个度量事件与对应的事实表行具有一对一的关系;同一事实表中的所有度量行必须具有相同的粒度;附录粒度：事实表中的每行对应一个度量事件，每行中的数据是一个特定级别的细节数据，称为粒度。...

文章目录主+谓+宾主+谓主+系+表主+系+表+宾（宾语从句）There be句型附录介词短语主+谓+宾主+谓主+系+表主+系+表+宾（宾语从句）这种句型很难分类，有时候感觉像原因状语从句，有时候像宾语从句。这类句子我们通常称为形容词宾语从句。这类做表语的形容词有：afraid, sure, happy, glad, certain例句：I am afraid this green ...

文章目录下行参考信号上行参考信号下行参考信号PTRS:相位追踪参考信号CSI-RS：信道状态信息参考信号（仅下行传输）上行参考信号DMRS（Demodulation Reference Signal），解调参考信号（既可上行也可下行传输）SRS（Sounding Reference Signal）：测量参考信号（仅上行传输）...

文章目录前导码序列 —— 指的就是preamble码。RAR —— 指Radom Access Response，在RAR消息中包含Temporary C-RNTI、TA、上行授权资源：UL Grant，其中，RA指Radom Access，UE后续发送的MSG3消息使用Temporary C-RNTI加扰。RAR在PDCCH上传输，UE在发送完MSG1后应该监测PDCCH信道。eNB加扰RA...

文章目录ods表 —— 物理表edw表 —— 维度表/逻辑表业务主键 —— 业务主键的作用：去重、缓慢变化自然健代理健数据集成-》数据研发-》运维中心缓慢变化（代理健保证）...

文章目录perf工具，定位热点函数。

文章目录SAAS（具体应用服务）PAAS（为服务准备环境，包括运维、监控）IAAS（负责存储和计算）

文章目录Quuic协议，号称下一代TCP/IP协议。

文章目录ODBC（open database connectivity）开发数据库连接JDBC（java database connectivity）java数据库连接，是一种用于执行SQL语句的java API。

文章目录Install the Search Guard Plugin for your Elasticsearch versionDisable shard allocationStop all nodesDownloadInstallGenerate all required TLS certificates下载offline TLS toolConfig node- and certific...

文章目录编解码方式ASN.1protobuf编解码方式ASN.1protobuf标准信令（即协议中规定的信令）使用ASN.1方式编解码，内部信令（研发内部使用的信令）使用protobuf方式编解码。ASN.1protobuf...

文章目录RT测试DT测试RT测试DT测试定义DT（Drive Test）也称驱车测试，通常也叫做路测。是通信网络运营商了解通信网络质量的一种途径。为了掌握网络信号质量、电平、覆盖等状况，利用专门的测试设备对道路进行的测试。它通过驱车搭载无线测试设备沿一定道路行驶来测量无线网络的性能。在DT中模拟实际用户，用移动终端（一般指专用的测试手机）不停地拨打语音电话，不断地上传或下载不同大小的文件，通...

文章目录using multiple adjectives before a nounusing multiple adjectives before a nounWhen using multiple adjectives before a noun, we usually list the adjectives in this order:opinion - size - shape -...

文章目录colourcolour单词单词音标意思red[red]n.红色；adj.红色的orange[`ɒrɪndʒ]n.橙红色；adj.橙红色的yellow[`jeləʊ]n.黄色；adj.黄色的green[gri:n]n.绿色；adj.绿色的blue[blu:]n.蓝色；adj.蓝色的purple[`pɜːpl]n...

文章目录何时浊化？何时不浊化何时浊化？何时不浊化浊化的条件/s/音之后/s/音后接清辅音清辅音后接元音在重读音链中注：在只有一个元音成分的单词中，元音部分重读。举例如下ask [a:sk] 不浊化，因为清辅音/k/后没有接元音master [`ma:stə] 不浊化，因为[stə]不在重读音链中spy [spai] 浊化skate [skeit] 浊化expensiv...

prepmeansexampleas作为，像，当做，如同with和She lives with her parents.用，有，具有to到It fell to the ground.向，至，对于表示目的或意图a...

conjmeansexampleas随着But as time goes on, you will realize that …正如，因为，由于

phrasemeansexamplego off(警报器)突发巨响The thieves ran away when the burglar alarm went offgo on(时间)流逝But as time goes on, you will realize that …

文章目录重读在前缀后重读特殊前缀重读在前缀后单词示例单词音标后缀asleep[ə`sli:p]a-computer[kəm`pju:tə]com-impossible[im`pɔsəbl]im-defend[di`fend]de-adventure[əd`ventʃə]ad-conductor[kən`dʌktə]co...

文章目录特殊重读规律的后缀重音在后缀上重音在后缀的前一个音链上后缀三特殊重读规律的后缀重音在后缀上单词示例单词音标后缀bamboo[bæm`bu:]-ooballoon[bə`lu:n]-oonrefugee[refju:`dʒi:]-eeengineer[endʒi`niə]-eerChinese[tʃai`niz]-ese...

文章目录一、背景二、迁移方案四、迁移步骤1、下载、安装、配置新的ES集群2、在测试环境选择对迁移效率进行测试3、旧的ES集群停止写入4、下载安装elasticsearch-migration5、数据迁移五、迁移过程中的注意点一、背景由于新采购了一批性能更好的服务器，再加上公司内领导要求服务器需要统一管理，因ES所在服务器散落在不同位置，所以决定对ES的服务器进行迁移。二、迁移方案迁移的思路...

文章目录目标概述48个音标26个英文字母发音规律目标见标能读见词能读概述汉语英语汉字单词汉字由笔画构成单词由英文字母构成汉字有对应的拼音单词有对应的音标不知道汉字怎么读，可以查拼音不知道单词怎么读，可以查音标48个音标20个元音音标2个前元音：[i:] [i] {发音特点：舌尖抵下齿}28个辅音音标| 清辅音 | 浊辅音 |...

文章目录单模光纤和多模光纤如何区分单模光纤和多模光纤单模光模块和多模光模块如何区分单模光模块和多模光模块单模光纤和多模光纤如何区分单模光纤和多模光纤单模光纤：光纤的线是黄色的多模光纤：光纤的线是橙色的单模光模块和多模光模块连接光交换机时，单模光纤需要通过单模光模块接入光交换机;多模光纤需要通过多模光模块接入光交换机。如何区分单模光模块和多模光模块单模光模块：编号0330301001...

文章目录26个英文字母字母名称音字母功能音字母的分类字母组合字母组合分类26个英文字母字母名称音字母名称音：帮助我们在交流中确定具体的字母。字母字母名称音备注A[ei]元音字母B[bi:]辅音字母C[si:]辅音字母D[di:]辅音字母E[i:]元音字母F[ef]辅音字母G[dʒi:]辅音字母H[...

文章目录部署规划元数据库MySql安装首先清除CentOS7系统中默认的数据库mariadb，否则不能安装mysql安装MySql测试MySql安装是否成功MySql远程访问授权配置hive安装安装hive配置hivehive集成MySql作为元数据库Hive跨集群迁移部署规划iphostnameinstall softwareprocess10.62.84.37ma...

文章目录部署规划安装配置zookeeper下载安装目录规划将下载的二进制包移动到/usr/local/hadoop目录，解压缩文件包配置设置环境变量启动部署规划iphostnameinstall softwareprocess10.62.84.37masterhadoop,zookeepernamenode,ResouceManager,ZKFC10.62....

文章目录安装配置静态IPssh登录慢解决配置内网yum源时间同步配置MongoDB部署推荐配置安装镜像源下载centos镜像，刻盘装机http://mirrors.zte.com.cn/centos/7.4.1708/isos/x86_64/用光盘安装，从IT借个光驱，设置电脑从光驱安装系统，安装完成后，修改电脑启动从硬盘启动对于E9000刀片服务器，可以通过将服务器OMC口设置为大网I...

文章目录准备工作安装hue依赖的第三方软件包下载hue源码编译配置基础配置配置数据库hue集成hadoop3.1.0配置配置hadoop集群配置huehue集成hive配置MySql初始化启动hue验证遇到的问题准备工作1、 安装python2、 安装maven3、应用类服务一般用专有账号启动，我们建立一个hue用户和用户组groupadd hadoopuseradd -g hadoo...

文章目录根据测试方法划分：黑盒测试、白盒测试、灰盒测试黑盒测试：白盒测试：灰盒测试：根据测试流程/开发阶段划分：单元测试阶段：集成测试阶段：系统测试阶段：验收测试阶段：根据测试的侧重划分：功能测试与性能测试软件的性能包括很多方面，主要有时间性能和空间性能两种。性能测试(广义)包括：性能测试(狭义)负载测试（Load Test）压力测试（Stress Test 强度测试）配置测试(Configura...

文章目录本地模式本地模式（输入输出数据在本地）本地模式（输入输出数据在HDFS）集群模式本地模式mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行。在本地运行可以使用debug进行跟踪代码，方便查错，在本地运行主要作用是看mapreduce的业务逻辑是否正确;处理的数据及输出结果可以在本地文件系统，也可以在hdfs上;本地模式非常便于进行业务逻辑的deb...

文章目录为什么需要HistoryServerHistoryServer简介HistoryServer配置1 新建保存spark events的目录2 配置spark-defaults.conf3 配置spark-env.sh启动HistoryServer为什么需要HistoryServer在Spark安装成功，通过spark-submit工具提交任务后，只要在Spark应用程序运行期间，可以通...

文章目录Hadoop日志详解1 Hadoop 系统服务输出的日志1.1 修改Hadoop日志目录1.2 修改YARN日志目录2 Mapreduce程序输出来的日志2.1 作业运行日志2.2 任务运行日志 (Container 日志)Hadoop日志详解Hadoop的日志大致可以分为两大类:1、 Hadoop 系统服务输出的日志；2、 Mapreduce程序输出来的日志。且这两类的日志存放...

文章目录一、运行环境二、创建scala eclipse项目2.1 创建工程目录2.2 生成eclipse项目文件2.3 导入Eclipse中三、Eclipse开发四、打包发布（assembly）一、运行环境LinuxScala 2.11.12Spark 2.4.0sbt 1.2.8 (可以通过/usr/local/sbt/bin/sbt sbtVersion查看)Scala IDE ...

文章目录一、关于SBT二、为什么使用SBT三、SBT工程目录结构四、SBT交互模式一、关于SBTSBT是一个现代构建工具。它是用Scala编写的，并且针对Scala也提供了很多方便快捷的功能。它也是一个通用的构建工具。二、为什么使用SBT强大的依赖管理功能Ivy用来管理依赖一个只会根据需求更新的模型所有任务的创建都支持Scala可连续执行命令可以在工程的上下文里启动REP...

文章目录一、下载sbt安装包二、安装1、将下载的二进制包移动到/usr/local目录，解压缩文件包2、配置PATH环境变量三、测试sbt是否安装成功一、下载sbt安装包从sbt官网下载地址：http://www.scala-sbt.org/download.html下载安装包，以sbt-1.2.8.tgz为例。二、安装1、将下载的二进制包移动到/usr/local目录，解压缩文件包ta...

文章目录1、Hive在HDFS上的默认存储路径2、hive中的数据库查看数据库切换数据库(如切换到数据库kaidy)创建数据库删除数据库3、hive中的表查看数据库中所有的表创建表删除表查看已创建的表信息输出创建指定表或者视图的语句列出表所有属性查看表中的全部数据查看表中的记录数查看表中前5条数据外部表和内部表4、分区(partition)建立分区表查看分区信息partition指定分区查看数据删...

文章目录Spark配置启动Hive的metastore服务重启spark集群验证配置是否成功Spark配置在${SPARK_HOME}/conf/目录下新建hive-site.xml文件，并在文件中做如下配置：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?&g...

文章目录core-site.xml部分参数hdfs-site.xml部分参数core-site.xml部分参数参数名默认值说明建议hadoop.native.libtrue设置是否使用本地库（Hadoop默认是启动本地库的）-hdfs-site.xml部分参数参数名默认值说明建议dfs.namenode.name.dirfile:...

文章目录Spark源码编译Hadoop-Parquet相关jar包下载查找与系统（此处以hive为例）的parquet版本号下载hadoop-parquet相关jar包Spark配置Spark源码编译Spark源码编译方式部署Spark时，为了支持Parquet功能，需要在源码编译时指定支持Parquet功能（即在编译命令中带上”parquet-provided“参数），具体的编译命令如下：...

文章目录开启Recovery（即Enable RM Restart）YARN可以通过配置支持ResourceManager重启过程中，不影响正在运行的作业，即重启后，作业还能正常继续运行直到结束。具体参考官网：https://hadoop.apache.org/docs/r3.1.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.htm...

文章目录启用Fair Scheduler队列配置参考启用Fair Scheduler在${HADOOP_HOME}/etc/hadoop/yarn-site.xml文件中添加如下配置： <property> <name>yarn.resourcemanager.scheduler.class</name> <value...

文章目录版本兼容性spark安装（建议源码编译安装）源码编译（以spark-2.3.3版本，hadoop-3.1.0版本为例）YARN配置Hive配置To add the Spark dependency to HiveConfigure Hive execution engine to use SparkConfigure Spark-application configs for HiveAl...

文章目录资源相关配置参数以下所述参数均在yarn-site.xml文件中配置资源相关配置参数yarn.scheduler.minimum-allocation-mbyarn.scheduler.maximum-allocation-mb说明：单个容器可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值。默认值：1024/8192yarn.schedule...

文章目录使能Spark资源动态分配使能External Shuffle ServiceExternal Shuffle Service配置使能Spark资源动态分配进入${SPARK_HOME}/conf/目录，在spark-defaults.conf文件中新增如下配置如果spark-defaults.conf文件不存在，从spark-defaults.conf.template模板文件拷贝...

文章目录1、在Hive cli中往表中插入记录，报错信息如下错误信息a错误信息b1、在Hive cli中往表中插入记录，报错信息如下错误信息aUnrecognized Hadoop major version number: 3.2.0当时环境版本信息：hadoop版本：3.2.0spark版本：2.4.0hive版本：3.1.1解决方案：版本兼容性问题，通过查看hive源码根...

文章目录环境2台服务器部署结构一、前提1、JDK版本要求1.8及以上;2、ES不能以root用户身份运行 确保运行用户对各使用到的目录的权限;2.1、创建elsearch用户组及elsearch用户2.2、更改安装目录elasticsearch-6.6.1及内部文件的所属用户及组为elsearch:elsearch3、配置操作系统vm.max_map_count参数，请使用root用户登录系统，执...

文章目录Spark-shell问题：Spark-shell启动时报错WARN NativeCodeLoader:60 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicableSpark-shell问题：Spark-shell启动时报错WARN ...

文章目录3台服务器部署结构一、前提条件1、确保集群中已经安装好了hadoop（2.7及以上版本）；二、安装元数据库三、安装hive1、下载hive安装包，下载地址：http://mirror.bit.edu.cn/apache/hive/hive-3.1.1/2、将下载的hive安装包放到/usr/local目录，解压缩安装包3、配置hive环境变量4、验证hive是否安装成功四、配置hive1、...

文章目录一、首先清除CentOS7系统中默认的数据库mariadb，否则不能安装mysql二、安装MySql1、下载MySql的相关rpm包2、将下载的mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar放到/usr/local/mysql目录，解压缩安装包3、切换到下载包目录下（cd 你的下载目录），然后对每个包进行一次安装；4、修改MySql配置5、通过以下命令，完...

文章目录3台服务器部署结构目录规划一、前提条件1、确保集群中已经安装好了hadoop（2.7及以上版本）；2、确保集群中每台机器上已经安装好了scala（2.12及以上版本）；二、安装Spark-2.4.01、下载Spark安装包，下载地址：http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-wi...

文章目录一、docker安装和启动二、下载官方plantuml-server镜像1：先从一个有网络的电脑下载plantuml-server镜像2：保存镜像到本地文件3：把镜像拷贝到无网络的电脑，然后通过docker加载镜像即可。三、使用docker启动plantuml服务四、在Gitlab上配置开启PlantUML一、docker安装和启动yum -y install dockersyste...