Si_kenn的博客

原创 单词番外篇

日文译文日文译文日文译文ユースケース案例,用例ベース基本,基础アクセス访问オプション选项バンドル打包,捆包テキストtextエディター编辑テキストエディター文本编辑器セットアップ装配バイパスbypass①スキップ②跳跃インポートimportソースリポジトリ③源码库ソースsourceリポジトリrepository解凍解压クローン克隆クラスパスclass pathインフラストラクチャinf...

原创 SpringBoot入門の最終回

添加实力派功能(本番是正式的,真正的意思,不过直译很奇怪.グレード是等级的意思.サービス是服务的意思,之前也一直这么翻译,但是一直觉得别扭,从这里开始翻译成功能.)创建商业用的web网站的话,恐怕有必要添加若干个管理功能.SpringBoot使用执行器模块(actuator　module),提供了若干个这样的功能(健康检查,监控,Bean等).使用Gradle 的话,在build.gradle文件里添加以下依赖.implementation 'org.springframework.boot:spr

原创 SpringBoot　第二弾

应用程序之类创建用Spring Initializr创建一个简单的应用程序类.但是,这样未免也太单调了一点.有必要像下面的列表这样改动一下应用程序类.package com.example.springboot;import java.util.Arrays;import org.springframework.boot.CommandLineRunner;import org.springframework.boot.SpringApplication;import org.springf

原创 SpringBoot 帮你get一点专业词汇

SpringBoot日语大入门接下来带大家看看SpringBoot是如何为应用程序开发大加油门而助力拳脚的吧.从入门到入神(入门介绍读得越多,越能预见SpringBoot的要领吧.).在这里我们也就只是小品一下SpringBoot的香味.若是想要独创SpringBoot的最佳项目的话,请移驾SpringInitializr,输入项目的详细细节,选取相应的选项,下载zip的压缩包项目.[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uU2thEEG-1617290786642

原创 Hive架构图及流程

一上图肯定会很晕,所以先把流程顺一遍看图就会清晰很多.流程客户端提交Hql语句任务给DriverDriver会创建一个session handler用于查询操作，接着dirver会将查询操作发送到compiler生成一个execute planCompiler通过对Hql词法,语法分析得到要操作的表,然后到MetaStore中获取需要的Hive元数据信息。Compiler得到元数据信息，对task进行编译，先将Hql转换为抽象语法树，然后将抽象语法树转换成查询块，再将查询块转化为逻

原创 Spark复习之一

如何理解Spark中的血统概念（RDD）简述Spark的宽窄依赖RDD 只支持粗粒度转换，即在大量记录上执行的单个操作。将创建 RDD 的一系列 Lineage（血统）记录下来，以便恢复丢失的分区。RDD 的 Lineage 会记录 RDD 的元数据信息和转换行为，当该 RDD 的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。RDD在Lineage依赖方面分为两种Narrow Dependencies与Wide Dependencies用来解决数据容错时的高效性以及划分

原创 概率论与数理统计之笔记手稿(二)

原创 概率论与数理统计之笔记(一)

来点课堂笔记.引言确定性(必然):一定发送/不发生随机(偶然):可能发生,可能不发生统计规律随机事件试验:观察,测量,实验随机试验:在相同条件下可重复结果不止一个无法预测 E事件:每种结果.随机事件基本事件:相对于实验目的不能再分(不必再分)复合事件:由基本事件复合必然事件:一定发生,用Ω表示不可能事件:一定不发生,用∅表示样本空间:所有基本事件的集合,Ω样本点:样本空间的元素,ω事件的集合表示:Ω→必然事件→样本空间∅→不可能事件→空集事件间的关系包含

原创 Hadoop之Yarn(三)

补充Yarn知识,从别人那借过来的知识1）Hadoop调度器重要分为三类：FIFO 、Capacity Scheduler（容量调度器）和Fair Sceduler（公平调度器）。Apache默认的资源调度器是容量调度器；CDH默认的资源调度器是公平调度器。2）区别：FIFO调度器：支持单队列 、先进先出 生产环境不会用。容量调度器：支持多队列，保证先进入的任务优先执行。公平调度器：支持多队列，保证每个任务公平享有队列资源。3）在生产环境下怎么选择？大厂：如果对并发度要求比较高，选择公平

原创 Hadoop之Yarn（二）

ResourceManagerRM是一个全局的资源管理器，负责整个系统的资源管理和分配.它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（ApplicationsManager, ASM).调度器：根据容量,队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给给个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而

原创 Hadoop之Yarn(一)

一.概述Yarn是Hadoop的资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在资源利用率,资源统一管理和数据共享等方面带来了巨大好处.Yarn的基本思想是将JobTracker的两个主要功能分离(资源管理和作业调度/监控),主要方法时创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster.这里的应用程序是指传统的MapReduce作业.Yarn分层结构的本质是ResourceManager.这个实体控制整个集

原创 Hadoop之小文件

一.概述每个小文件无论多小都会对应一个block,而每一个小文件在NameNode中都要有元数据的记录,如果存在大量小文件,则NameNode中的大量空间都用来存放这些小文件的元数据信息,其实是相当浪费的,对于NameNode的性能有比较大的影响当使用MapReduce处理大量小文件时,默认情况下MapReduce在进行切片操作时规则是和block切的规则一样,即一个block对应一个inputSplit,而一个InputSplit就对应一个Mapper,这样会造成开启大量的MapperTask,但是

原创 Hadoop之基本命令

今天来点基本命令吧,事无巨细统统拿下,O(∩_∩)O哈哈~命令说明hadoop fs -mkdir创建目录hadoop fs -ls查看目录下有哪些目录hadoop fs -put将目标文件放到指定目录下hadoop fs -get将目标文件下载到指定目录下hadoop fs -rm删除指定目录的指定文件hadoop fs -rmdir删除目录,该目录必须为空目录hadoop fs -rmr删除目录,目录可有文件hadoop fs

原创 Hadoop之API

读取文件@Testpublic void testConnentNamenode() throws Exception{ Configuration cf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://192.168.000.000:9000"), cf, "root"); InputStream in = fs.open(new Path("/test/demo.txt")); OutputStrea

原创 Hadoop之运行环境搭建

5.Hadoop运行环境搭建登录账户关闭防火墙修改IP修改主机名配置hosts文件,将需要搭建集群的主机全部配置到hosts文件中配置ssh免密登录生成公钥和私钥 ssh-keygen -t rsa将公钥拷贝到需要免密登录的服务器上安装JDK安装Zookeeper安装Hadoop配置集群core-site.xmlhadoop-env.shhdfs-site.xmlyarn-env.shyarn-site.xmlmapred-env.shmapred-site.

原创 Scala之翻译篇

有没有人是学日语的呢?今天献上一篇日文吧,然后姐姐我给大家翻译翻译.初遇Scala容我简短地为Scala和编译器写上两句吧.不过在这简短的文字里主要还是为有一定编程经验并且想要琢磨一下Scala能做些什么的人而写的喔.也就是说起码你要懂得何为面向对象编程,特别是还要有一定的Java基本功.第一个Demo(前两天我写了Scala的第一个Demo,不过是写在WorkSheet上的,今天翻译的这篇文字是直接写了一个object)作为第一个Demo,就写一个最基本的Hello World项目吧.虽说不

原创 Hadoop之MapReduce概述

1.概述MapReduce是Hadoop中一套分布式的计算框架,分为Map和Reduce两个部分,Map负责数据的整理,Reduce负责数据的汇总.2.序列化机制1.在MapReduce中,要求被传输的数据必须能够被序列化2.Hadoop中,序列化机制默认使用AVRO,但是Hadoop对AVRO的序列化机制进行了进一步封装,提供了更简单的 序列化机制,只需要实现Writable,重写其中的方法即可.在序列化时,要求属性不能为null3.分区分区也就是对MapReduce中的

原创 Hadoop之shuffle过程

好不容易的周末,你是不是在打打麻将,打打牌,摸一摸,洗一洗呢?哈哈~~在这我们还是看看Hadoop是如何洗牌的吧.Map端的Shuffle1.每个Split会分给一个MapTask来处理2.MapTask默认是对数据进行按行读取,每读取一行调用一次map方法3.map方法在处理完一行数据的时候会将数据写出到缓冲区中4.每个MapTask都自带了一个缓冲区,缓冲区维系在内存中5.缓冲区默认大小是100M6.当缓冲区达到条件时,将缓冲区中的数据写到本地磁盘上,这个过程称之为溢写(Spill),产

原创 Scala之第一个Demo

“化繁为简,相较Java而言,Scala做了很好的诠释.”-------这就是我初识Scala时的印象,不知道你对Scala又怀有何等心情呢?在学Hadoop的时候,我们老师曾说Scala是门很恶心的语言,之所以学它都是为了学Spark.担心我们不知道能不能坚持下来.说实话,在习惯了Java语言风格之后要接受另一门语言确实是需要时间去适应的.而教我们Scala的老师则说,Scala语言是为聪明人设计的.哈哈,仁者见仁智者见智.只能说:“本是同根生相煎何太急”.废话不多说,我们一起简单看看Scala了

原创 MapReduce之Shuffle调优

来点Hadoop的料吧,嘻嘻.Shuffle调优1.将缓冲区大小(默认100M)设置更大. 一般情况下会将缓冲区设置为250~400M左右(切分[split]的大小一般会设置与块[block]的大小相同[默认128M].缓冲区的大小值一般取决于切分的大小,所以一般是128M的倍数.为了方便记忆我们一般都说设为250~400M左右)2.减少溢写次数,如果能够添加Combiner,尽量添加Combiner.(存在不能Combiner的情况,所以视情况而定.)3.将缓冲区阈值(默认80%)设置更大.

原创 数据结构之堆排序(二)

马不停蹄,堆上昨晚 ---------堆的代码public class Test { public static void main(String[] args) { Integer[] arr = {17, 9, 25, 21, 19, 12, 18, 23, 16, 15}; Heap.sort(arr); System.out.println(Arrays.toString(arr)); } }public static calss Hea

原创 数据结构之堆排序(一)

既然在堆积如山的博客中,有幸与你相逢,那就让我把这堆中的点点滴滴向你道明吧.相逢怎可莫问出处.既是如此,那又何为"堆"也.堆(Heap)其实就是一颗完全二叉树的数组对象.就像下图大家应该知道二叉树吧,完全二叉树是指从根节点开始分出两个子节点,每个节点又可以分出两个子节点,以此类推,而完全二叉树的每一层节点从左向右都必须是满的,只有最后一层节点可以是从左向右但是右边可以不满,若要添加元素也必须从左至右的依次加满才能到下一层.其顺序至上而下,从左到右.将其一字型摆开便是一个数组.堆分为大顶堆和小顶

原创 数据结构之逆波兰表达式

所谓逆波兰便是反其道而行之.我们一般上的表达式,运算符都是镶嵌在数与数之间的,而逆波兰则独树一帜将运算变成了小尾巴粘到了数字的后面.说起来好像很抽象,还是举个例子吧.例:一般表达式逆波兰表达式(a + (b - c) * d) / eabc - d * + e /该表达式的运算顺序:b - c = xx * d = ya + y = zz / e = result逆波兰采用了栈的先进后出的方式罗列数字与运算符的顺序第一步将a压入栈中,第二步将b压入,第三步压入c

原创 HDFS之读写删流程

关于读写删流程不是我自己总结的,是从之前学习时候资料上大体拿过来用的,但无论是不是我自己总结的都不碍事,重要的是我们汲取精华化为己用,你说对吗,就像你现在也在白嫖我的文字一样,反正是很香.10.读流程1.客户端发起请求到NN2.NN在收到请求之后会先效验该文件是否存在.若存在,会将这个文件所对应的Block的存储地址放入一个队列中返回给客户端3.客户端收到队列之后会从队列中按每个Block对应的地址将其一次取出,从副本个数地址中取出地址较近的一个读取4.读取完一个Block后,会对这个Block进

原创 HDFS之NameNode

旁白者笔下初遇Hadoop昨晚整理的资料不知道是没保存还是怎么的,今天一开机就是找不到,差点没脑裂.所以先提前提醒下伙伴们做事养成随手保存的习惯.其实,我是个蛮谨慎的人的,但是聪明反被聪明误,淹死的往往是会游泳的人,所以在写代码的时候,随手写随手测,小心驶得万年船.今天没有代码,纯理论,有点枯燥,但是我想对理解NN的工作机制还是很有帮助的.昨天还画了好几遍的图,今天就不画了,大家就看纯文本吧,纯纯的青春,纯纯的爱,就算青春不再依旧热爱.好了,接下来我们就看看NN是怎么工作的吧.4.NameNode用

原创 数据结构之约瑟夫循环链表

忍不住再发一篇吧.哈哈~~约瑟夫的故事大家应该都有所耳闻吧,我第一次接触类似约瑟夫问题的话,应该是小学的时候班里大家一起做游戏,数到某个数(1~9)的倍数或者以该数结尾的话,数到的同学就要跳过该数说出下一个数,错了的话,要受惩罚或表演一个节目然后退出游戏,接着又从1开始数起,直到剩下最后的那个同学,而且最后那个同学有奖励喔.虽然与约瑟夫问题有点区别,但是纯属雷同对吧.上课的游戏归上课的游戏,而如果对约瑟夫故事很感兴趣的同学也可以百度一下,在这码路上我们还是欣赏下约瑟夫在码路上的风景吧!public c

原创 数据结构之快速排序

"沉默加速度是我的脚步奔跑在视线里的路我不要祝福不理会孤独奔向最远处…"以这首歌献给快速排序,也献给自己以及奋斗在路上的伙伴们,在码路上能自由得加速度,一起奔向自己想要的更远处.public class Quick{ // public static void sort(Comparable[] a){ int left = 0;//左边下标从0开始 int right = a.length-1;//右边下标为长度-1开始 sort(a, le

原创 数据结构之归并排序

“话说天下大势,分久必合,合久必分.”.那就让我一统江山,将其合并吧~~哇咔咔咔,废话不多说了,归并排序的代码来啦.归并毕竟相较之前的排序都会更复杂些,所以加了备注.写注释也是能获得码市好好公民奖的吧~^^public class Merge{ //准备一个临时数组 private static Comparable[] temp; //初始化 public static void sort(Comparable[] a){ temp = new Comp

原创 数据结构之希尔排序

不管你喜不喜欢,我都要献上希尔排序,嘻嘻嘻~~public class Shell{ public static void sort(Comparable[] a){ int h = 1; while(h < a.length/2){ h = 2 * h + 1; } while(h > 0){ for(int i = h; i < a.length; i++){

原创 数据结构之插入排序

来一曲插播如何,铛铛~~ 这就是插入排序的代码public class Insertion{ public static void sort(Comparablep[] a){ for(int i = 1; i < a.length; i++){ for(int j = i; j > 0; j--){ if(greater(a[j-1], a[j])){ exch(a, j

原创 数据结构之选择排序

冒泡完就选择一下吧,让我们再看看选择排序的代码又是如何实现的.public class Selection{ public static void sort(Comparable[] a){ for(int i = 0; i < a.length-1; i++){ int minIndex = i; for(int j = i+1; j < a.length; j++){ if(greate

原创 冒泡排序

我在这里冒个泡!!!下面是冒泡排序实现过程的代码,有需要的可以参考,如果要测试的话,请自行写测试代码.(话说不会写测试代码的程序猿不是一个好程序猿).