张明哲丶-CSDN博客

原创 Hive 数据倾斜（调优）

1、什么是数据倾斜？由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点2、数据倾斜的原因(1)key分布不均匀(2)业务数据本身的特性(3)建表时考虑不周(4)某些SQL语句本身就有数据倾斜3、容易数据倾斜情况4、主要表现任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。最长时长远大于平均时长。5

2021-03-02 00:35:19 201

原创 JDBC,HDBC

JDBC一、创建maven工程，导入相应的jar包因为访问数据库需要用到专门的第三方工具类的jar包，所以我们在使用时需要引入外部jar包  <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-

2021-01-10 12:16:56 569

原创 Spark连接Hive，mysql

Spark集成Hive一、将hive/conf下的hive-site.xml拷贝到spark/conf下ln -s /opt/software/hadoop/hive110/conf/hive-site.xml /opt/software/hadoop/spark244/conf/hive-site.xml这里使用的是软连接命令，修改hive-site.xml时，两边同时会生效二、将mysql-connector-java-5.1.32.jar拷贝到spark/jars下cp /opt/down

2021-01-10 10:53:37 264

原创 Scala学习-Array的方法

Scala：ArrayScala 语言中提供的数组是用来存储固定大小的同类型元素，数组对于每一门编辑应语言来说都是重要的数据结构之一。声明数组变量并不是声明 number0、number1、…、number99 一个个单独的变量，而是声明一个就像 numbers 这样的变量，然后使用 numbers[0]、numbers[1]、…、numbers[99] 来表示一个个单独的变量。数组中某个指定的元素是通过索引来访问的。数组的第一个元素索引为0，最后一个元素的索引为元素总数减1。同时，Scala提供了

2020-12-20 12:40:57 481 1

原创 Sqoop迁移Hadoop与RDBMS间的数据

一、Mysql->Hbasesqoop import \--connect jdbc:mysql://single/kb10mysql \--username root \--password kb10 \--table student \--hbase-table kb10:mysql_student \--column-family stuPhone \--hbase-create-table \--hbase-row-key stuNo \--hbase-bulkload

2020-11-19 18:39:36 78

原创 Hive函数整理（一）

Hive函数整理（一）数学函数集合函数数学函数1、double log(double base,double a)说明：返回底数为base的a的对数例子：2、pow(double base,double p)说明：底数为base的p的幂值例子：3、conv(bigint/string base,int from_base,int to_base)说明：将数值base从from_base进制转为to_base进制例子：4、pmod(int/double a,int/dou

2020-11-19 16:53:00 276

原创 JAVA排序（希尔，桶）

#希尔排序int[] arr = {13, 46, 79, 36, 93, 58, 81, 87, 98, 99, 100, 0, 45, 76, 25};int step = arr.length;while((step=step/2)>2){ for(int i=0,t;i+step>arr.length;i++){ if(arr[i]>arr[i+step]){ t = arr[step]; arr[step] = arr[i]; arr[i] = t;

2020-10-05 15:39:54 66

原创 JAVA图形打印

#直角三角形for (int i=1;i<=5;i++){ for (int j=1;j<=i;j++){ System.out.print("*"); } System.out.println();}//倒置的直角三角形for (int i = 1;i<=5;i++){ for (int j=1;j<=6-i;j++){ System.out.print("*"); } System.out.println();}打印结果

2020-10-04 15:20:07 120

原创 JAVA排序（冒泡，选择，插入）

#JAVA排序算法首先，我们给定一个数组int[] arr = {23,56,89,12,45,78,79,46,13,52};1、冒泡排序int t;for(int i=0;i<arr.length-1;i++){ for (int j=0;j<arr.length-1-i;j++){ if (arr[j]>arr[j+1]){ t = arr[j]; arr[j] = arr[j+1]; arr[j+1] = t; } }}2、选择排

2020-10-03 15:50:50 152

原创 Java基础知识点（持续更新）

Java**Java是一个平台** JVM java virtual machine java虚拟机（用软件模拟硬件） JRE java runtime environment java运行时环境 JDK java development kit java开发工具包目录：bin jar.exe 打jar包 java.exe 执行java字节码程序->启动虚拟机 javac.exe 编译java源程序->生成字节码程序 javadoc.exe 生成文

2020-10-02 18:07:40 128

原创第一个web页面

<html> <head> <title>淘宝</title> <link rel="stylesheet" type="text/css" href="css/com.css"/> <link rel="stylesheet" type="text/css" href="css/taobao.css"/> </head> <body> <header class="header"&g

2020-10-02 17:13:45 469

weixin_45303716的博客