- 博客(23)
- 收藏
- 关注
RSS订阅原创 Hive数据倾斜解决方案
1、什么是数据倾斜？由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce 子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。 单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大 于平均时长。2、产生数据倾斜的原因A：key 分布不均匀B：业务数据本身的特性C：建表考虑不周全D：某些 HQL 语句本身就存在数据倾斜3、产生数据倾斜的业务场景及
2021-03-02 12:05:52
267
1
原创 Spark连接MySQL，Hive，Hbase
Spark连接MySQL一、添加依赖jar包<!-- spark支持mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.32</version> </dependency>
2021-01-10 17:16:43
226
原创 Java连接Mysql,Hive,Hbase
Java连MySQL一、添加config配置文件driver=com.mysql.jdbc.Driverurl=jdbc:mysql://192.168.95.138:3306/kb06mysqltestdb?useUnicode=true&characterEncoding=utf8&useSSL=trueusername=rootpassword=javakb10二、初始化资源类import java.io.FileReader;import java.sql.Con
2021-01-10 16:39:52
190
原创 shell基础
Shell 简介Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 脚本Shell 脚本（shell script），是一种为 shell 编写的脚本程序。业界所说的 shell 通常都是指 shell 脚本，shell 和 shell script 是两个不同的概念。vi firstshell.sh
2020-12-07 18:42:27
387
原创 mysql、hdfs、hive、hbase数据互导
1.本次所用数据sid student _id course_id score(1,1,60),(1,2,59),(1,3,58),(1,4,22),(1,5,59),(1,6,60),(1,7,99),(1,8,100),(1,9,88),(2,1,99),(2,2,99),(2,3,89),(2,4,60),(2,5,59),(2,6,33),…2.在MySQL中的数据库和表数据库名：kb06mysqltestdb表名: scorehive➡hdfs在hive
2020-12-07 18:35:44
525
原创 JDBC代码
JDBC（Java DataBase Connectivity）是Java和数据库之间的一个桥梁，是一个规范而不是一个实现，能够执行SQL语句。它由一组用Java语言编写的类和接口组成。各种不同类型的数据库都有相应的实现，本文中的代码都是针对MySQL数据库实现的。在Windows的IDEA工程里连接虚拟机里的MySQL.进行增删改查操作class App：package cn.kb10.jdbc;import java.sql.*;public class App{ public
2020-12-07 18:34:05
319
原创 MapReduce工作原理的步骤解析
MapReduce工作原理的步骤解析1、当maptask启动之后，InputFormat也就被启动了，用默认的TextInputFormat类型的RecordReader方法读取文件。这种方式的目的是：(1)数据切分：按照一行一行地分成若干个split，以便确定MapTask个数以及对应的split。(2)为Mapper提供输入数据：读取给定的split的数据，解析成一个个的（key：行的偏移量/value：读取到的行的内容），供Mapper使用。2、mapper的map方法入口会得到map（k,v）,
2020-11-15 22:49:24
124
原创 mysql函数（字符串函数、日期函数、数学函数、系统级函数、聚合函数）
Ⅰ、字符串函数1、char_length(str) 计算字符串字符个数。mysql> select length(‘text’); -> 4mysql> select octet_length(‘text’); -> 42、length(str) 返回值为字符串str的长度，单位为字节。(汉字3个字节，字母一个)3、concat(s1,s2,…) (+不可以拼接了)返回连接参数产生的字符串，一个或多个待拼接的内容，任意一个为NULL则返回值为NULL。m
2020-11-15 20:04:00
195
原创 包装类(基本数据类型、类型的转换)
根据八种基本数据类型定义相应的引用类型-包装类（封装类）有了类的特点，就可以调用类中的方法包装类优势：提供了一系列针对该类型的函数、包装类型的默认值都为null、自动装拆箱基本数据类型包装类booleanbooleanbyteByteshortShortintIntegerlongLongcharCharacterfloatFloatdoubleDouble对于Integer包装类来说，新建对象的时候，参数可以写数.
2020-11-11 23:41:05
527
原创 虚拟机免密登录操作
步骤：1.切换至根目录 cd ~2.查当前的主机名：hostname3.查当前主机的ip地址：ip addr (另一台也要查ip地址)4.编辑文件：vi /etc/hosts ;5.在上述文件中写入两行，一行为当前主机ip地址 主机名;一行为另一台主机ip地址 主机名比如：192.168.95.138 single192.168.95.148 master6.生成秘钥：先退回根目录，cd ~;然后 ssh-keygen -t rsa 连续按3下enter键然后ls -la 查看是否有.s
2020-11-11 22:49:22
516
原创 linux常用的基本操作命令
目录pwd #查看当前目录路径ls[-la] #查看目录 -rw-r--r--. -文件 d目录 rw-所有者权限 r--组内用户权限 r--其他用户权限 r read w write x execute - none rwx rw- r-x r-- -wx -w- --x --- 111 110 101 100 011 010 001 000 文件夹的默认权限：755 rwxr-xr-x 文件的默认权限：644 rw-r--r--cd
2020-11-11 20:19:22
89
原创 Windows环境下hadoop安装和配置详细步骤
一、下载Hadoophttp://www.apache.org/dyn/closer.cgi/hadoop/common（我下载的版本是hadoop-2.6.0-cdh5.14.2.tar.gz，这里就以此版本为例）下载 hadoop 安装包至安装目录安装目录：/opt/download/hadoop2、解压安装包至软件目录（最好更名，以便之后方便配置文件）3、进入文件，准备配置因为需要用到 java 的路径，可以代码查找，并复制至剪贴板备用二、配置Hadoop的环境变量修改配置文件
2020-11-11 18:54:15
2546
原创 线程的基本概念及线程池函数
一、线程的基本概念1、线程是CPU调度的最小单位2、一个进程中至少包含一条线程：主线程3、主线程是系统创建的4、java中主线程的入口 public static void main(String[] args){}5、线程的状态二、关于线程的阻塞Thread.sleep(long milliseconds);t.wait(); 一直等，直到（锁在同一把锁）有人通知t.wait(long milliseconds)；等milliseconds,（锁在同一把锁）有人通知立即执行，无人通知等
2020-11-11 16:02:21
199
原创 ArrayList函数
1 、trimToSize()函数该函数是将ArrayList实例的容量修建为列表实际的大小。也就是去除掉所有得空格public void trimToSize() { modCount++; if (size < elementData.length) { elementData = (size == 0) ? EMPTY_ELEMENTDATA : Arrays.copyOf(elementData, size);
2020-11-11 15:01:38
1238
原创 Java异常的基础——定义、处理
异常的定义异常就是有异于常态，和正常情况不一样，有错误出现。在java中，阻止当前方法或作用域的情况，称之为异常。Error：是程序中无法处理的错误，表示运行应用程序中出现了严重的错误。此类错误一般表示代码运行时JVM出现问题。通常有Virtual MachineError（虚拟机运行错误）、NoClassDefFoundError（类定义错误）等。比如说当jvm耗完可用内存时，将出现OutOfMemoryError。此类错误发生时，JVM将终止线程。非代码性错误。因此，当此类错误发生时，应用不应该去处
2020-10-25 21:28:12
97
原创 封装、继承、多态的基础
封装基本类型与引用类型int a=5; int b=a;将变量a的值，拷贝一个给变量b，变量a与变量b是相互独立的；int[] a={1}; int[] b=a;将数组a引用的地址，拷贝一个副本给数组b，数组a与数组b相互关联，都指向同一个数组；Student a=new Student();Stedent b=a;同数组object oriented programming //抽象：模具 //类：class类1.访问修饰符访问修饰符 [abstract/static/fin
2020-10-25 20:46:10
118
原创 抽象类和接口类的基础知识
1.抽象类abstract修饰的类就是抽象类(父类通常是抽象的，不能实例化)格式：public abstract class A{…}特征：①不可以直接实例化②可以有构造方法，可以有属性（留给子类使用），可以有自定义方法③可以有抽象方法，子类必须重写抽象父类的抽象方法，除非子类也是抽象类应用场景：是一个 （is a） A extends [abstract] B 用于重用举个例子：A为抽象父类，A定义了一个方法：会计算。B，C为子类，D类想用类B和类C的方法。B会加法，
2020-10-25 20:34:39
152
1
原创 利用循环、排序、数组等知识解决某些数字问题
1、生成六个不一样的随机数字Random rand = new Random(); int[] arr = new int[6]; int i = 0; arr[i++] = rand.nextInt(33)+1; for (int num,j; i <arr.length ; ) { num = rand.nextInt(33)+1; for (j = 0; j <i ; j++)
2020-10-07 19:09:03
110
原创 排序算法（冒泡、插入、选择、希尔、桶）
一、冒泡排序基本思想是:两两比较相邻记录的关键字,如果反序则交换基本代码如下： int[] arr={5,6,8,9,7,11}; for (int i = 0,t; i <arr.length-1 ; i++) { for (int j = 0; j <arr.length-1-i ; j++) { if (arr[j]>arr[j+1]) { t=arr[j];
2020-10-07 18:48:05
113
原创 数组的基本概念及其简单的应用
Ⅰ、一维数组①变量概念：一种存储空间的表示②数组概念：一组类型相同的连续的存储空间的表示A. 优点//1、类型相同：不用考虑类型//2、连续：遍历B.缺点//1、类型相同：无法解决不同类型多个值的存储//2、连续：插入，移除C.使用数组四步骤//1、声明 xxx[] arry;//2、★分配空间 arry = new xxx[int LENGTH];//3、赋值 arry[int INDEX] = VALUE;//4、使用 System.out.println(arr
2020-09-27 20:19:47
171
原创 Java的选择结构与循环结构——解决年月日等相关问题
循环结构中的分支结构1、单分支if(条件){代码}2、双分支if(条件){代码1}else{代码2}3、多分支if(条件1){代码1}else if(条件2){代码2}…else{代码N}switch（算术表达式）{case 常量1:代码1;break;…default:代码N;}★if做区间条件，switch做等值条件（贯穿现象，只支持long以下的整数（char，枚举），JDK1.8之后开始支持String）4、嵌套分支if(){if(){}switch(){}}★ 多个变量
2020-09-27 19:18:12
311
原创 《css基础知识》——案例：淘宝首页的登录界面
在熟悉内边框、外边框、边框等概念之后，还需掌握父子盒子的知识内容。在弹性盒子中，定父盒子的宽高，子盒子等分父盒子宽度，高度需指定。或者定父盒子的宽高，子盒子设置宽高，控制间距。下面就是这两种方式的例子。1、子盒子等分宽度，指定高度html：<div class="flexbox"> <div class="flexson"></div> <div class="flexson"></div> <div class="flexso.
2020-09-20 15:20:45
921
原创 《html基础知识》——信息调查（账号、密码、生日、性别...）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-09-20 13:56:10
795
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人