z471365897的专栏

### 1.[volatile和synchronized的区别与联系](#1)### 2.[hdfs](#2)### 3.[yarn](#3)### 4.[乐观锁和悲观锁](#4)<span id="1" style="font-size: 20px;">```1. volatile本质是在告诉jvm当前变量在寄存器（工作内存）中的值是不确定的，需要从主存中读取；synchronize...

    1、发现一个不错的解决方案：http://algoarch.iteye.com/blog/1142681           2、英文地址：http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/           3、可问题来了，里面描述的lib目录建在哪里？执行时到底怎么调用的呀？         ...

import java.io.Fileimport org.apache.hadoop.hive.ql.io.HiveFileFormatUtilsimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}object TestSparkSQLHive {...

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://

什么时候进行checkpoint什么时候进行checkpoint由两个参数dfs.namenode.checkpoint.preiod(默认值是3600，即1小时)和dfs.namenode.checkpoint.txns(默认值是1000000)来决定。period参数表示，经过1小时就进行一次checkpoint，txns参数表示，hdfs经过100万次操作后就要进行checkpoint了...

For more detailed output, check application tracking page:http://s101:8088/cluster/app/application_1564489361939_0001Then, click on links to logs of each attempt.Diagnostics: File file:/home/hadoop/...

问题描述：create temporary function getMax as 'comhadoopcourse.GenericUDAFFindMaxPair';FAILED: Class com.hadoopcourse.GenericUDAFFindMaxPair not found解决方式：由于使用idea maven打jar包的方式进行打包索引要删除对应jar...