billionyearsbo的博客

原创 java有关的HttpsUtils工具类 https请求工具类

java的Http或者Https有关的工具类

原创 当hive使用分桶时，报错：is bucketed but Spark currently does NOT populate bucketed output which is ....

这个错误的产生一般是因为你在设置了这个参数：set hive.exec.dynamic.partition =true;这个参数的含义是：开启强制分桶；是实现分桶，能够根据你设置的规则，把数据分配到指定位置的桶中，方便后期的抽样。出现标题上的错误的原因有可能是：spark的版本问题，spark版本过低不兼容等。验证spark版本问题：你把上面的参数改为:注意：下面的 4 是要跟你创建的表时，设置的桶数一致；set hive.enforce.bucketing =false;set hiv

原创 shell脚本中编写SQL中 以传参(${accdate})的方式 动态：求 前12个月的日期和求 前一周（7天的日期）

shell脚本中编写SQL中 以传参(${accdate})的方式 动态求 前12个月的日期CAST(CAST(DATE_FORMAT(DATE_SUB(from_unixtime(unix_timestamp(CAST(${accdate}AS string),'yyyyMMdd'),'yyyy-MM-dd'),-12),'yyyyMMdd')AS STRING) AS DECIMAL(8,0)) AS startdt求 前一周（7天的日期）CAST(DATE_FORMAT(DATE_SUB

原创 1G文件内存大小为1M统计每个单词出现次数的TopN（思想）

1G文件内存大小为1M统计每个单词出现次数的TopN（思想）实现这个思路先从以下几个方面解决：①读取文件：使用IO流解决，使用缓冲数组 byte 只能容纳1M考虑使用一个可以设置大小的IO流来解决：BufferreaderInputStream然后设置编码方式：InputStreamReader（BufferreaderInputStream，“utf-8”）这样就可以1M读取文件，然后把文件保存到HashMap中，为了防止数据倾斜把文件数量设置多点（比如：1G文件大小，1M读可以分为1024个）

原创 HashMap的底层原理

1.8之前 只有list+链表1.8之后 list+链表+红黑树存储过程：首先，先定义一个长为16的数组；若当一个数进来时，我们会先嵌套一些算法，比如 key.hashCode() / 长度 等，进行省略存储（来储存数据），锁定它在数组中的位置。然后在进行equals比较，判断如果key 相同，value进行覆盖，如果不同，则 链到下面：（当链达到8个之后，会比较数组的长度是否为原来的4倍（64），若没有则扩大2倍（32），所有的数据在数组中从新计算在重新进行储存；若达到4倍，会以树状的形式链到

原创 使用spark操作WordCount，需要在idea中导入的依赖以及Scala插件全图解

第一步：打开你的idea，然后根据自己的需求来修改导入依赖在pom中，然后刷新maven中央仓库（建议使用阿里云的下载速度快）这个Maven项目WordCount导入的依赖<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId>

原创 DDL和DML的定义以及区别

DDL(表示Data Definition Language数据定义语言)*，用于定义数据库模式的规范表示法,它适用于架构级别。主要包括CREATE，ALTER，DROP,RENAME；隐性提交的，不能rollback。DML(表示Data Manipulation Language数据操作语言)*，它用于访问和处理数据。主要的DML有SELECT，INSERT，UPDATE，DELETE；可以手动控制事务的开启、提交和回滚的。...

原创 MySql提示:The server quitwithout updating PID file(…)失败

MySql提示:The server quitwithout updating PID file(…)失败原因：可能是有进程MySQL已经启动解决办法：用命令“ps -ef|grep mysqld”查看是否有mysqld进程，如果有使用“kill -9 进程号”杀死，然后重新启动mysqld！（本人是因为已经安装好了MySQL 而且之前都能用，这次报错可能是因为已经开了MySQL 不知道 然后再次开启了，后面出现进程混乱 导致出现这些结果，试了很多次，因为知道以前是完好的，不会出现配置文件的错误，只

原创 在Linux上安装lrzsz包出现错误：Cannot find a valid baseurl for repo: base

第一步：复制一下代码注意：要在root用户下 执行以下代码：sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.confmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6

原创 出现这种错误：Cannot find a valid baseurl for repo: base看下文解决办法

第一步：右下角光盘，将设备状态的已连接和启动时连接都选上对勾如图：接下来就开始命令操作：以下是命令：mkdir /media/cdrommount /dev/sr0 /media/cdromdf #####查看挂着情况cd /etc/yum.repos.dmkdir bakmv o bakcp bak/CentOS-Media.repo .///用 cat -n CentOS-Media.repo 查看 enabled=0是多少行// 20s/0/1/：20行 把0

原创 HTML中有关盒子模型的讲解

原创 HTML中css样式的讲解

原创 HTML中关于表单的讲解（思维导图）

原创 HTML的认识和讲解（思维导图）

原创 Java中三层架构的讲解（思维导图）

原创 JDBC中dao层的解释（思维导图）

原创 MySQL与JDBC之间关系的讲解（思维导图）

原创 MySQL中关于对：事务、视图、索引、备份和恢复 思维导图

原创 MySQL的DQL命令查询数据库（一）的思维导图

原创 MySQL的DOL命令查询数据（二）思维导图

原创 MySQL数据管理的思维导图

原创 MySQL的子查询总结思维导图

原创 MySQL的数据库设计分析

原创 java关于线程、网络编程、XML的简单思维导图总结

关于IO流总结的简易思维导图

原创 关于IO流总结的简易思维导图

上一章：关于集合Collection的思维导图

原创 关于集合Collection的思维导图

面向对象脑图（类和对象、三大特点、抽象、接口、以及异常）的总结脑图

原创 集合collection中关于list的内容

集合1.1 集合体系树//1. Collection / \ List Set / \ | ArrayList LinkedList HashSet //2. Map / |

转载 java异常详细分析脑图

原文章地址：

原创 java中关于异常的总结以及return的使用

上一章：java基础关于接口总结异常前言：异常5个关键字：try、catch、finally、throw、throws1、try：执行可能产生异常的代码​ try：将可能出现的代码块写进try中，用于后续捕捉2、catch：捕捉异常​ catch 所代表的代码块，只有在与他相匹配的try捕捉到异常并处理，然后给用户合理提示。try{ //将会发生异常的内容}catch(Exception e){ //声明当前的catch 能够处理的异常类型}3、finally

原创 java基础关于接口总结

上一章：java中关于抽象类接口1、定义​ 1、接口：①字面意思：定义标准​ ②当一个类里面的方法全部是抽象方法的时候，我们就可以称之为接口​ ③还有一种说法：比抽象还抽象就是接口​ 2、关键字：interface2、成员1、属性：public、static、final修饰2、一个类去跟一个接口建立关系，需要使用的关键字：implements3、implements：给一个类实现多个接口总结1、定义一个接口访问修饰符 <抽象类> 文件类型 文件名

原创 java中关于多态

下一章：java中关于抽象类多态多态：一种事物的多种表现形式（多种状态），为了适应不同的场景所表现出来的不同形态​ 多态，简而言之就是同一个行为具有多个不同表现形式或形态的能力。向上转型：1、创建对象的表现：以父类声明去创建子类对象double d = 1;public class C{ }public class A extends C{ }public class B{ main(){ A a = new A(); /

原创 java中关于抽象类

上一章：java中关于继承以及重写模板1、语法规范：​ ①、class​ ②、abstract注意：abstract 默认继承Object2、抽象方法：​ 1、抽象方法没有方法体3、抽象方法的大前提：抽象类4、抽象方法的范式：​ 访问修饰符 abstract 返回值类型 方法名（参数列表）;5、抽象方法和普通方法的区别：​ ①、抽象方法没有方法体​ ②、抽象方法被abstract 关键字修饰​ ③、抽象类中的抽象方法只能使用public访问修饰符6、抽象类和普通类

原创 面向对象脑图（类和对象、三大特点、抽象、接口、以及异常）的总结脑图

上一章：java基础部分的思维导图

原创 java中关于继承以及重写

1、访问修饰符修饰符当前类中同包不同包子类任何地方public可以可以可以可以protected可以可以可以不可以default可以可以不可以不可以private可以不可以不可以不可以2、继承java中只有父子类关系，没有爷爷辈的 只能说是 父类的父类扩展：Object（顶级父类），java所有的类都是源自Object：所有单独类的父类都是ObjectObject：也好比就是一颗大树的根部，其余的类好比它的主干，对象以

原创 java封装、包、继承简单总结

面向对象编程三大特性：封装、继承、多态1、封装基本概念：将一个代码逻辑或者代码块以方法的形式存在于类内部，方便使用，实现功能使用封装，保护属性的基本步骤：1.改变属性的可见性（修改访问修饰符为private）2.增加对应的两个方法，get（获取对应属性值）、set（设置对应属性值）封装属性总结：//1.getter 和 setter 方法名称 get/set+属性名 整体符合小驼峰命名规范（set需要参数，不需要返回值；get需要返回值，但没有参数）//2.作用：通过公共的方法，间

原创 java学完数组的一个简单练习：吃货联盟系统模板

上一章：java基础关于一维数组的笔记和练习题(杨辉三角，冒泡排序，随机数等一些功能)吃货联盟package com.Array;import java.util.Scanner;public class Bucket { public static void main(String[] args){ //定义菜品数组并赋值 String[] foodNames = {"宫保鸡丁","地三鲜吧","鱼香肉丝","炒木耳吧","西红鸡蛋",

原创 java中初识：构造和方法以及方法的重载

上一章：java中初始类和对象1.上章回顾什么是方法？它是一个能够实现特定功能的代码片段的集合，它有自己的方法名，它有自己执行时需要的参数和执行结束后的返回结果。定义一个方法范式：修饰符 返回值类型 方法名 (参数列表){​ 方法体​ return 返回值;}返回值类型：如果方法没有返回值，void代替之后，不需要return，返回值要和类型一致，return 后可以跟着的三种形式：直接值；表达式；调用别的方法，利用别的方法的返回值；使用方法对象名.方法名(参数列表);使用方法需

原创 java中初始类和对象

1.面向过程流水账、上至下、左至右2.面向对象（面向工具）创造功能、创造工具3.类和对象3.1类类型、类别、分类关键字：class类是对象的抽象，是对该类型事物的特性（属性）及操作（方法）的描述创建类的步骤：​ 1.分析目标​ 2.列出类图​ 3.创建java文件或者类文件，将上述类图中的属性和方法迁移到类文件中​ 属性：​ 先写属性​ 分号结束​ 暂时没值，只有属性对应类型的默认值​ 方法：​ 后写方法​ 每一个方法必须有它执行的

原创 java基础部分的思维导图

原创 java基础数关于数组的理解

1.数组定义数组，是多个想同类数据按一定顺序排序的集合，并使用一个名字命名，并通过编号的方式对这些数据进行统一管理数组的概念：1.数组名、2.下划线（或索引）3.元素、4.长度1.1创建数组一维数组范式1.数据已知​ 重点: 数据类型[] 数组名 = {1,2,3,4,5,6};​ 数据类型[] 数组名 = new 数据类型[]{1,2,3,4,5,6};2.数据未知​ 数据类型[] 数组名 = new 数据类型[10];​ 必须告知JV