m0_46168848的博客

我们在执行start-dfs.sh的时候，默认启动顺序是namenode => datanode => journalnode => zkfc，如果journalnode和namenode不在一台机器启动的话，很容易因为网络延迟问题导致NN无法连接JN，无法实现选举，最后导致刚刚启动的namenode会突然挂掉一个主的，留下一个standy的，虽然有NN启动时有重试机制等待JN的启动，但是由于重试次数限制，可能网络情况不好，导致重试次数用完了，也没有启动成功。先启动journalnode，再启动dfs。

1.2B参数模型在单卡上约3-5天可完成预训练（BookCorpus+Wikipedia）。：基于Byte-Pair Encoding（BPE），减少词表膨胀问题。： - 适合生成任务，社区支持完善，显存占用低，训练周期可控。： - 直接支持非英语任务，减少数据预处理成本。：避免频繁切换任务类型，建议分阶段训练（预训练→微调）。：天然支持文本到文本（text-to-text）任务。：类GPT-3的解码器（Decoder-only）-：编码器-解码器（Encoder-Decoder）-

ubuntu安装mysql8.0.35过程和报错处理

Flink on yarn提交任务报错ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session. org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster

网易Impala集群优化和高可用负载均衡配置和虚拟数仓

使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和portMetastore高可用原理：Hive Metastore客户端始终使用第一个url连接到metastore服务器，如果Metastore服务器变得无法访问，则客户端从列表中随机选取一个url并尝试与之建立连接。

XX保险HDP大数据平台机房迁移异常分析，事件：1. 机房迁移后大部分组件都能正常启动，2. Yarn 启动后8088 8042等端口无法访问 3. Hive spark 作业提交到yarn会出现卡死。备注迁移但IP不变。

虚拟机关机的状态下，在 VMware 当中新增一块磁盘，选中左边要添加磁盘的虚拟机镜像，然后鼠标右键点击设置。选中磁盘点击添加点击下一步，悬着SCSI这个选项继续点下一步，点击创建新虚拟磁盘根据自己的需要选择最大磁盘大小，然后选择将虚拟磁盘拆分为多个文件。最后点击完成。

使用Akka的Actor模拟Spark的Master和Worker工作机制

Scala的函数式编程与高阶函数，匿名函数，偏函数，函数的闭包、柯里化，抽象控制，懒加载等

scala隐式转换

Scala模式匹配

在 Scala 中，队列和并行集合是常用的数据结构和并发编程工具。

Scala集合常用函数与集合计算简单函数，高级计算函数Map和Reduce等

【代码】Scala的集合操作之可变数组和不可变数组，可变List集合与不可变List集合。

在 Scala 中，样例类（case class）和样例对象（case object）是两种特殊的类和对象，它们具有以下特性：样例类是用来表示不可变数据的类。编译器会自动生成一些额外的方法，如基于构造参数的equalshashCodetoString等。样例类可以使用模式匹配来进行对象解构。area")area")printArea(circle) // 输出：圆的面积为：78.53981633974483printArea(rectangle) // 输出：矩形的面积为：12.0。

我们带着以上四个问题去思考，在这里我谈谈个人的一些观点和具体的看法。若有说的不正确的地方，望贻笑大方！

Container是以什么形式运行的？是单独的JVM进程吗？是的，每一个Container就是一个单独的JVM进程。YARN的vcore和本机的CPU核数关系？没关系。默认都是手动在yarn-default.xml中配置的，默认每个NodeManager是8个vcore，所有的NodeManager上的vcore加在一起就是整个YARN所有的vcore。每个Container能够使用的物理内存和虚拟内存是多少？

OutputFormat是一个用于描述MapReduce作业的输出格式和规范的抽象类，位于org.apache.Hadoop.mapreduce.OutputFormat. Mapreduce框架依靠文件输出格式完成输出规范检查（如检查目录是否存在），并为文件输出格式提供作业结果数据输出的功能，即提供RecordWriter的实现，输出文件被存储在文件系统FileSystem中。TextOutputFormat类 是默认的输出格式，它把每条记录写成文本行。

DolphinScheduler 教程Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署去中心化的多Master和多Worker

Hadoop一. 引言1.1 什么是大数据大数据:(Big Data):数据量级很大的应用处理。TB级 ，日数据增长GB级K -- M---- G ---- T ----PB ---- EB ---ZB 1024通过对海量数据进行分析，挖掘，进而发现数据内在的规律，从而为企业或者国家创造价值。1.2 大数据特点4V 是大数据典型的特点具体指的是:# 1.Volume (大量) 数据量很大，至少是TB或者日均增加GB级# 2.Variety (多样) a.结构化数据 :

关于Java连接Hive，Spark等服务的Kerberos工具类封装

Kerberos认证原理与使用教程

Spark读取Hive数据的两种方式与保存数据到HDFS

yarn常用命令：1.yarn application 查看任务（1）列出所有Applicationyarn application -list（2）根据 Application 状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）2.yarn logs 查看日志（1）查看Application 日志yarn logs

CDP集群卸载过程

cdp集群安装好后hive启动查询库报错No current connection

dataX详解

cdp安装全过程和遇到bug处理

记录SparkSql向hive的动态分区表插入数据失败的bug问题

Hive 未关闭表的事务功能(ACID)的问题

impala和hive的笔记

CDH集群hadoop的资源调度yarn常用配置优化与资源池的配置

AWK用法全解与Sed去掉sql最后一个字段哪一行的逗号

SparkSql读取外部Hql文件并执行和传参的公共类开发

日常bug记录

​Kerberos 是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。.........

distcp+shell脚本实现跨集群数据迁移

linux的一些命令和hadoop的一些命令

大数据离线集群数据迁移与元数据迁移