- 博客(18)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 java Stream操作小全
java8 内置的四大核心函数式接口Consumer<T> : 消费型接口 void accept(T t);Supplier<T> : 供给型接口 T get();Function<T,R> : 函数型接口 R apply(T t);Predicate<T> : 断言型接口 boolean test(T t);创建Stream1.Collection系列集合提供的steam()或parallelStream()List&
2021-09-23 15:13:32
203
原创 java stream中的reduce问题
问题你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的
2021-08-31 18:08:29
464
原创 mysql 0 和 ‘’的比较
现象：本来想要看一下数据库中有没有某字段为空的数据结果使用select * from table where a=’‘查出来的结果a字段全是0，没有为空的，当然后来发现其实a字段是int类型的，自然也不存在为’'的情况。但是这个现象之前没有发现过，引起了我的好奇心，于是有了如下测试select 0=’'结果为1select 0='0’结果为1select 0='A’结果为1select 0='1A’结果为0select 0='1’结果为0原因：当比
2020-12-08 13:59:36
1331
1
原创 关于新版本的IDEA Version Control窗口的还原
关于新版本的IDEA Version Control窗口被取代的还原之前一直用的是2019.1版的IDEA，代码改动的查看、对比、提交及提交记录的查看都是在Version Control中进行的，一直觉得也挺方便，最近更新了2020.1版本，发现Version Control不见了，取而代之的是Commit和Git两个窗口，Commit中只能查看待提交的文件，Git中直接显示的就是log，点击还会在右边直接显示出三个窗口，显示改动，堆在一起根本看不清楚，还是要点击弹出来看，特别不方便。下面上步骤：在s
2020-07-31 10:31:47
2525
1
原创 一次性搞清楚Java中右移运算符和左移运算符
今天在ArrayList源码的时候看到扩容机制中的右移操作当时一时没反应过来到底是扩容了多少，痛定思痛的决定好好研究下java中的左移右移操作。左移 << 由于不需要考虑符号位的变化，对左移来说左移时只需要在右边加0就可以，逻辑左移和算术左移都是一样的，在Java中左移操作符只有<<，所以相对比较...
2020-04-28 21:38:58
484
3
转载 目标关键字存在，IDEA全局搜索搜不到结果
目标关键字存在，IDEA全局搜索搜不到结果今天在使用IDEA全局搜索（Ctrl+Shift+F）请求路径的时候，发现搜不到，但是后来发现目标关键字是存在的，文件中的Ctrl+F是可以搜索到的，后来发现了这篇文章：https://blog.csdn.net/qq_20492999/article/details/80944218使用解决方法清除了缓存之后就可以搜索到了[File]->[I...
2019-10-10 17:41:07
3303
6
原创 Spark集群的搭建
首先，去spark官网下载spark安装包笔者这次使用的是spark1.6.3、Hadoop2.6版本的jar包下载完成后，把jar包发送到服务器上进行解压，然后把解压后的文件夹名称改为spark1.6.3.进入conf目录修改slave.template-&amp;gt;slave(这里是配置Woker所在节点位置)node02node03node04修改spar...
2018-11-05 19:27:11
254
1
原创 Spark概述
基本介绍：Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，用来构建大型的、低延迟的数据分析应用程序。它扩充了MapReduce的计算模型。spark的一个主要特点是基于内存进行计算，即使依赖磁盘进行复杂的运算，Spark依然比MapRed...
2018-11-05 19:04:19
363
原创 Hive基础理论及表的类型
什么是Hive？Hive是建立在Hadoop上的，用来构建数据仓库的工具，里面有表的概念，可以使用SQL语句实现存储、查询和分析存储在 HDFS上的数据，这些SQL语句在Hive中称为HQL，语法和SQL语句基本一样。由于数据是杂乱无章的，所以Hive需要一份关于这些数据的元数据来管理和操作这些数据。这份元数据包括：元数据（行的分隔符（在映射成表的时候知道在哪里分行显示）字段分隔符（在映...
2018-11-02 20:09:27
1104
原创 Hive工具的配置与使用
Hive有三种模式：内嵌Derby方式Local方式Remote方式在实际的开发中，我们经常用的是第三种，所以接下来我们就介绍一下Remote方式的Hive如何配置 由于Remote方式和Local方式都是使用的mysql数据库，所以在安装Hive之前，我们需要先安装mysql首先从官网下载安装文件 http://mirror.bit.edu.cn/apache/hive...
2018-10-20 20:37:26
668
原创 基于高可用的HDFS分布式集群搭建Yarn
高可用的集群搭建可以参考博主的另一篇博客https://blog.csdn.net/PowerBlogger/article/details/83018127集群规划：基于HDFS高可用分布式集群搭建yarn步骤：找到hadoop安装目录下的 mapred-site.xml.template ，将其更名为mapred-site.xml ，mv mapred-site.xml.temp...
2018-10-18 14:08:12
244
原创 MapReduce的运行原理
MapReduce的执行步骤：每个Map上创建一个split数据，默认和block大小相同，每一个split都会由一个map task进行处理，从block中读取出每一行的数据会变成一个个的键值对&amp;amp;lt;K,V&amp;amp;gt;。接下来，读取出来的数据都会进入内存缓冲区，在进入缓冲区之前，每一条数据都会被打上标签，这个过程叫做分区，由分区器来完成，默认的分区器是HashPartitioner，然...
2018-10-16 21:29:14
285
原创 大数据课程-HDFS详解
大数据课程一、分布式存储HDFS1、 Hadoop的历史作者Doug CuttingLucene三驾马车GFSMapReduceBigTablehadoop生态圈hdfsmapreduceyarncommon2、HDFS的存储原理各个角色的作用NameNode1、接受客户端的读写请求2、管理元数据 ①上传的文件的权限 ②上传文...
2018-10-15 14:17:30
486
原创 HDFS HA高可用完全分布式搭建步骤
集群规划：NameNodeDataNodeZooKeeperZKFCJournalNodenode01√√√node02√√√√√node03√√√node04√√准备在每个节点的/etc/hosts文件中配置对各个主机的映射关闭防火墙chkconfig iptables off每个节点安装JDK...
2018-10-11 20:14:52
487
原创 HDFS完全分布式的搭建步骤
1.时间同步 首先需要在各个节点上都安装上ntp yum install ntp 然后在网上查找最新的时间服务器ntp1.aliyun.com 使用ntp同步时间ntpdate ntp1.aliyun.com2.配置免密登录也就是所有NameNode到所有节点的免密登录所有节点执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa然后在NameNo...
2018-10-10 20:35:26
213
原创 HDFS伪分布式的搭建步骤
HDFS伪分布式的搭建1.配置免密登录① ssh-keygen -t rsa （此处一路回车即可）② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node012.配置JDK① export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151② export PATH=$PATH: $JAVA_HOME/bin注意：如果...
2018-10-09 23:43:23
223
原创 HDFS原理
HDFS原理NameNode1.接收客户端请求2.管理元数据文件的上传时间文件权限文件属主文件的位置信息block的Id3.管理集群各个存储节点的存储情况以及存活情况SecondrayNameNode持久化内存中的元数据，除了block的位置信息，其他元数据都会持久化DataNode1.存储源数据（以block块的形式存储）2.接收客户端的读请求3.向NameNod...
2018-10-09 23:28:41
480
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人