- 博客(14)
- 收藏
- 关注
RSS订阅原创 使用hdfs API 读写hadoop文件的坑
使用hdfs API 读写hadoop文件的坑环境: 自己搭建的阿里云三台云服务器,整个环境都配置好遇到的问题: 在写hdfs api的时候,能创建目录,但是就是无法上传和下载问题,具体的报错信息在如下:log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN
2021-05-22 20:39:13
324
原创 hive全局排序和分桶
hive中如何实现大数据情况下的全局排序参照hbase的设计 范围分区+局部有序 (distribute by sort by +指定范围)问题:遇到这样的面试题,有100t的数据,我们需要对其进行全局排序,怎么样做效率最高?一般来说我们在实际中很少会遇到全局排序的状况会很少,所以我们一般都会采取子查询之后的数据进行排序,或者选取topn来排序.如果非要对全局进行排序,我们需要使用udf转化成局部排序,这样话,就可以使用多个reduce来进行局部排序达到整体的有序.但是这里要注意采样数据
2021-05-16 20:13:01
255
原创 Scala面向对象要点总结
Scala为什么是完全面向对象要点总结一 Scala中的类1.1 Scala中的class和Object在编译时的区别一 Scala中的类1.1 Scala中的class和Object在编译时的区别①object在编译时会产生一个伴生对象，用来模拟java中的静态类型，我们可以直接通过类名去访问属性和方法。如：User.class, Scala05_Class$.classclass 在编译时只会产生当前类的class文件如：Scala05_Class.class②...
2020-10-21 19:25:58
466
1
原创 Hadoop组成结构（新版3.x）
Hadoop组成结构（新版3.x）一. HADOOP组成描述（1）Hadoop的四个特性（2）Hadoop的组成二.HDFS概述（1）HDFS概念（2） HDFS的特点（3）HDFS的组成结构和作用三. Yarn的组成（1）ResourceManager(RM)（2）NodeManager（3）ApplicationMaster（4）container一. HADOOP组成描述（1）Hadoop的四个特性高可靠（底层维护了多个副本，即使丢失某一个副本也没事）高可扩展（在集群中分配任务，可以随意扩展
2020-09-11 20:24:49
1192
原创 数据结构之约瑟夫问题
约瑟夫环解决思路代码实现解决思路代码实现package DataStructrues.linkedList;/** * @author xiaye * @create 2020-06-24-7:09 */public class Josepfu { public static void main(String[] args) { CircleSingleLinkedList circleSingleLinkedList = new CircleSingleLink
2020-06-24 17:03:11
351
原创 二维有序数组的查找
题目描述在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。public class Solution { public boolean Find(int target, int [][] array) { //是否找到数字 //横坐标长度 int rowLength = array.le
2020-05-23 21:11:15
199
原创 renren-fast-vue前端项目启动的坑
后端项目renrren-fast项目是前后端分离的架构，使用renren-generator逆向生成后端代码。后端基本配置了数据库就没什么问题了。注意generator的配置文件，包名按照自己的项目来。前端renren-fast-vue-master从github下载的项目，项目下载依赖的时候一直出错，给我报node-sass下载失败的错，之后查阅了很多博客，没有找到解决办法，后来在github的项目下，找到了相同问题，并解决了。下面是解决的步骤：卸载；node-sass已有的依赖np
2020-05-17 23:38:03
1804
1
原创 mybatis-plus的mapper.xml配置位置的坑
1.yml文件的配置需要指定xml文件的位置，mapper-location配置2.maven配置我的mapper.xml写在main包下，编译时默认是不带xml的，我们需要去把他拿出来。
2020-05-12 11:05:28
2346
原创 数据结构之循环队列
循环链表循环队列循环队列注意点：头尾指针的做出了调整，初始全部0，而单向队列为 -1而且数组中的有一元素被空出来，来表示队列满的情况class CircleQueneDiy { //队列的最大长度 private int maxSize; private int front; //这里和单项队列做出了一个调整，将头指针指向了队列收个元素的地址 p...
2020-03-27 20:07:38
251
原创 数据结构之单向队列
单向链表单项链表的实现单项链表的实现注意事项front头指针指向的是队列首元素的前一个位置rear尾指针指向队尾元素这是代码实现//首先先创建一个队列类class MyQuene{ //队列的最大长度 private int maxSize; //队列的头指针，只想队列的第一个元素的前一个位置 不是队列的一部分 private int f...
2020-03-27 20:02:31
160
原创 数据结构之稀疏数组
稀疏数组问题：如何保存一个下过的棋盘问题：如何保存一个下过的棋盘方式一：直接用二维数组，来保存，没下棋的用0 来表示，黑子用1，白字用2存在的问题：浪费大量的空间，很多没有意义的数据 0.那么我们可以采用什么办法来解决呢？方法二：稀疏数组将棋盘的大小记录在数组的第一行，行列，以及存在多少下过的子将每个下过棋子的行列放到稀疏数组保存起来，第三列记录他的值将稀疏数组转化成正...
2020-03-27 19:56:39
92
原创 pom依赖文件报红解决方案
关于springboot的pom依赖文件报红问题由于自己的maven 的setting.xml文件使用的是阿里云镜像，在下载依赖的过程中，网络不稳定，造成了没有下载完成的文件，所以我弄了半天都没有弄好，翻看了很多博客，最终查到了一篇文章，解决了问题。直接解决。这是原文链接...
2020-03-20 15:02:43
5237
原创 JUC编程的学习（一）
JUC编程的学习（一）JUC的学习（一）1.线程和进程(回顾)2.Lock锁3.生产者和消费者问题JUC的学习（一）1.线程和进程(回顾)线程和进程概括：进程：1.一个运行的程序，qq.exe,程序的集合；2.一个进程往往可以包含多个线程，至少一个！3.java默认有几个？ 2个 main线程 GC线程线程：开了一个进程比如Typora，写字，自动保存都是一个线程...
2020-03-18 16:37:26
185
原创 springboot中集成Swagger
springboot中集成SwaggerSwagger的使用一.springboot中使用Swagger1.去maven的官网上上找swagger的依赖2.编写你的Swagger配置文件类3.启动项目，访问swagger-ui.html4.实体类上的注释5.contrller上的注释Swagger的使用一.springboot中使用Swagger1.去maven的官网上上找swagger的依...
2020-03-17 19:22:43
102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人