一只_小菜鸟-CSDN博客

原创 EMR6.2 crontab设定的hive任务报错

crontab 定时执行 sh文件，而 sh文件中为hive -f filename.sql执行时得到报错信息：ERROR: JAVA_HOME is not set and could not be found.Unable to determine Hadoop version information.'hadoop version' returned:ERROR: JAVA_HOME is not set and could not be found.解决：在/etc/...

2021-01-18 16:07:24 281

原创 EMR 6.2 hive创建表执行时间过长，最后失败

EMR 6.2 hive创建表执行时间过长，最后失败，报错如下Job Commit failed with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException解决：关闭一致性视图修改 /usr/share/aws/emr/emrfs/conf/emrfs-site.xml 文件将.

2021-01-18 16:04:05 667 2

原创 EMR 6.2 hive启动session yarn会话占用内存过高

在EMR6.2 中 tez默认一个会话内存占用为6144MB，占用过高，同步以下修改恢复为默认设置。sudo vi /etc/hive/conf/hive-site.xml加入<property><name>tez.am.resource.memory.mb</name><value>1024</value></property>...

2021-01-18 16:01:46 249

原创 EMR6.2（Hive3.x）hive 创建表失败

hive字符集问题原因：含中文注释解决：# 修改字段注释字符集mysql> alter table COLUMNS_V2 modify COMMENT varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci;Query OK, 50263 rows affected (0.69 sec)# 修改表注释字符集mysql> alter table TABLE_PARAMS modify column PARAM.

2021-01-18 15:58:15 162

原创二分查找的递归和普通实现

/** * 二分查找普通实现。 * * @param srcArray 有序数组 * @param key 查找元素 * @return 不存在返回-1 */ public static int binSearch(int srcArray[], int key) { int mid; ...

2019-01-22 11:40:01 146

原创堆排序

//堆排序public class HeapSort { public static void main(String[] args) { int[] array = {9, 8, 7, 6, 5, 4, 3, 2, 1, 0, -1, -2, -3}; System.out.println("Before heap:"); print...

2019-01-22 11:35:21 100

原创快速排序

/** * 快速排序 * @param a * @param low * @param high * @return */ def quickSort(a: Array[Int], low: Int, high: Int): Int = { // 右边的哨兵为了找到比基准小的，左边哨兵为了比基准大的，然后交换 var i =...

2019-01-22 11:27:58 116

原创归并排序

/** * 归并排序 * * @param a * @param low * @param high */ def mergeSort(a: Array[Int], low: Int, high: Int): Unit = { val mid = (low + high) / 2 if (low < high) { ...

2019-01-22 11:25:39 115

原创插入排序和选择排序

/** * 插入排序 * * @param a */ def insertionSort(a: Array[Int]): Unit = { for (i <- 1 until a.length) { var j = i - 1 val current = a(i) while (j >= 0 &amp...

2019-01-22 11:24:41 164

原创大数求topN

大数据量求topN（1*10^8个数求top10） /** * 获取topN * * @param n */ def getTopN(n: Int): Array[Int] = { val random = new Random() val array = new Array[Int](n) for (i <- 1 to...

2019-01-22 11:23:15 243

转载 kafka幂等生产者及事务

1. 幂等性设计1.1 引入目的生产者重复生产消息。生产者进行retry会产生重试时，会重复产生消息。有了幂等性之后，在进行retry重试时，只会生成一个消息。1.2 幂等性实现1.2.1 PID 和 Sequence Number为了实现Producer的幂等性，Kafka引入了Producer ID（即PID）和Sequence Number。PID。每个新的Producer在初始...

2018-12-28 16:42:15 478

转载 Spark内存管理

本文转自：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.htmlSpark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能...

2018-12-28 16:14:58 126

原创快学Scala(七)--包和引入简单示例

package org.qianfeng.scala.chapter07.packageandimport/** * scala包 *//** * scala中的包和java中的包目的相同：管理大型程序中的名称。 * 例如：我们之前就学习过的scala.collection.immutable.Map * 和scala.collection.mutable.Map就是两...

2018-10-25 16:55:19 167

原创 Java小程序--矩阵加法和矩阵乘法

package testArray2;/** * 练习矩阵,封装矩阵常用算法 * @author Shinelon * */public class Matrix { public static void print(int[][] c){ for(int i = 0;i<c.length;i++){ for(int j = 0;j<c.length;j++){...

2018-03-26 17:37:25 1279

Clarke