自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阳阳阳的博客

欢迎一起交流

原创 Flume概述与使用

文章目录Flume概述1.什么是Flume2.名词介绍3.Flume架构介绍4.可靠性和可用性Flume的安装与使用 Flume概述 1.什么是Flume 可以理解flume是日志收集系统,Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flum...

2019-09-03 18:49:38

阅读数 36

评论数 0

原创 从lucene到ElasticSearch

文章目录初识 Lucene1.什么是LuceneElasticSearch1.介绍2.基本概念 初识 Lucene 1.什么是Lucene Lucene 是一个基于 Java 的全文信息检索工具包,它不是一个完整的搜索应用程序,而是为你的应用程序提供索引和搜索功能。Lucene 目前是 Apa...

2019-08-31 10:02:40

阅读数 120

评论数 0

原创 Hive SQL语法详解

文章参考博客链接-------Hadoop Hive sql语法详解 文章参考官方 hive依赖于HDFS存储数据,Hive将HQL转换成MapReduce执行,所以说Hive是基于Hadoop的一个数据仓库工具,实质就是一款基于HDFS的MapReduce计算框架,对存储在HDFS中的数据...

2019-07-31 09:42:38

阅读数 96

评论数 0

原创 2019春招--字节跳动

最近很浮躁,陆续推了好几家面试和笔试,学也学不进去,不过头条的面试还是要给足面子,还是好好准备了两三天(收到面试通知到面试前一天)。 3.23 号,约的下午两点,但是签到之后就相当于排队了,也就是什么时候去就可以什么时候面,博主和同学一起去,十二点多就面了,面试的场景有点像菜市场,在食堂里根据号码...

2019-03-24 16:05:27

阅读数 1834

评论数 7

原创 面试必备基础知识点

这里大部分是整理自该篇帖子(侵删) 计算机网络 计算机网络分层 计算机网络如果是ISO模型的话,分为七层。TCP/IP协议簇模型的话,分为四层。 TCP和UDP有什么区别?什么场景使用TCP,什么场景什么UDP?哪些应用层协议使用了TCP,哪些使用了UDP? 这一块需要好好看。T...

2019-03-15 16:53:32

阅读数 419

评论数 0

原创 2019春招--多益网络

多益网络很早很早之前就做完了笔试,然是一直到3.11晚上才接到面试通知,3.12下午的面试跟网易有道撞了,果断推到了晚上7.00。面试形式QQ视频,由于被网易婉拒博主很难受,面的时候心不在焉答的挺差。。。。。 hdfs特点 spark 现在发现当时果然非常心不在焉,其他的问题我都想不起来了。。。...

2019-03-13 20:29:00

阅读数 677

评论数 0

原创 2019春招--招银(offer已拿)

3.13下午北京,面的岗位是大数据研发工程师,面试地点在知春路旁边的一家酒店,酒店挺好,但是面试就一间屋子,等面试的连个坐的地方都没有,就在门口站着emmmm(陪同学早去的博主在外面站了三小时),也没有个接待。话不多说,三面面经送上。 一面: Hbase调优 Hive调优(银行真实在。。...

2019-03-13 20:15:09

阅读数 1682

评论数 4

原创 2019春招--网易有道

3.12下午两点,在软件园里面,找了半天才找到,旁边是百度腾讯新浪。。。在一群楼饶了一圈才找到大门,然后去找前台签到,被前台赶走了让我面试前十分钟再来emmm,行吧。时间到了我去报了自己名字,然后拿了贴纸贴衣服上才能进去,就右手边一排会议室里当中的一个开始面试(找厕所找半天找不到后来还是问的面试官...

2019-03-12 18:00:34

阅读数 613

评论数 0

原创 TCP和UDP的区别以及各自对应的各种应用层协议和应用

这里码一下基础知识: TCP(Transmission Control Protocol,传输控制协议)和UDP(User Datagram Protocol,用户数据报协议)是运输层的两个主要协议,均是互联网的正式标准。 TCP: 优点:可靠,稳定TCP的可靠提现在传递数据之前,会有三次握手来...

2019-03-09 16:06:35

阅读数 235

评论数 0

原创 2019春招--vivo 大数据工程师 (offer已拿)

3.07下午一点半开始面试 地点在北京西土城一个大酒店,一点多才到,去了没多久就开始面试,一共就两面一面技术二面hr。 一面:七拐八拐找到了面试官房间,进去递上简历,面试官不知道在录入什么信息。因为上来面试之前,工作人员有问我没有带纸笔嘛,我都已经做好了要手撕代码得准备了。但是面试官好像并...

2019-03-08 12:08:19

阅读数 987

评论数 0

原创 遇到 Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs解决办法

问题:Exception in thread “main” java.io.IOException: No FileSystem for scheme: hdfs 工作过程中遇到了这个问题,调用org.apache.hadoop.fs.FileSystem这一套API来对hdfs上面的文件进行操...

2019-01-14 18:21:05

阅读数 2267

评论数 0

转载 再学计算机网络

目录 目录 网络的网络 ISP 主机之间的通信方式 时延 计算机网络体系结构 OSI TCP/IP 数据在各层之间的传递过程 物理层 数据链路层 网络层 IP 数据报格式 网络的网络 网络把主机连接起来,...

2018-09-28 14:56:38

阅读数 92

评论数 0

原创 动态规划小结

讲一讲动态规划 动态规划,一听起来就很高大上的样子,也因此很多人望而却步,不愿意理清楚他的逻辑,但是实际上这只是一种方法而已,并没有什么可怕的。 首先说一下动态规划,总结起来就是一句话大事化小,小事化了,例如,给你一段10m长的绳子让你剪成几段,求最么剪能让每一段的长度之积最大,这很明显就...

2018-07-30 18:44:44

阅读数 127

评论数 0

转载 Java设计模式之观察者模式

目录 简介 结构图 四个角色 代码示例 小结 目录 简介 在对象之间定义了一对多的依赖,这样一来,当一个对象改变状态,依赖它的对象会收到通知并自动更新。 其实就是发布订阅模式,发布者发布信息,订阅者获取信息,订阅了就能收到信息,没订阅就收不到信息。有点类似于...

2018-07-30 16:10:07

阅读数 58

评论数 0

转载 shiro

这里建两个传送门: 30分钟学会如何使用shiro shiro基础教程

2018-07-10 16:29:12

阅读数 283

评论数 0

原创 小结

目录 目录 Alluxio Scalatra Jetty Web服务器 Servlet容器 Servlet容器和Web服务器如何处理一个请求? Alluxio 参考文章 Alluxio是一个基于内存的分布式文件系统,它是架构在底层分布式文件系统和上层分布式计算...

2018-07-05 15:18:26

阅读数 121

评论数 0

原创 linux脚本编写小结

传参数 例子:./xxx.sh “xxxx”(运行前需要赋予一下权限 chmod xxx filename) 文件内: #!/bin/sh name=$1 这样”xxxx”就赋给了name 改写命令 例子:创建一个.bashrc文件,在里面写上 alias a=’b’ ...

2018-07-03 11:26:29

阅读数 69

评论数 0

原创 抽象类和接口

目录 目录 抽象类 接口 抽象类与接口的区别 抽象类 我们都知道在面向对象的领域一切都是对象,同时所有的对象都是通过类来描述的,但是并不是所有的类都是来描述对象的。如果一个类没有足够的信息来描述一个具体的对象,而需要其他具体的类来支撑它,那么这样的类我们称它为抽象类。比...

2018-06-27 16:52:36

阅读数 42

评论数 0

原创 Java基础之三大特性

目录 目录 1.封装 2.继承 3.多态 1.封装 封装,顾名思义,就是将类的信息封装隐藏在类内部,不允许外部程序直接访问,而是通过该类提供的方法实现对隐藏信息的操作和访问。 示例 public class Student{ private fl...

2018-06-26 21:47:07

阅读数 70

评论数 0

原创 Java设计模式之代理模式

目录 目录 概念 静态代理 动态代理 cglib代理 概念 代理模式:代理模式,顾名思义,肯定跟代理有很大的联系,代理的意思即是通过访问其他目标进行操作来代替直接操作目标对象,也就是通过代理对象来访问目标对象。 好处:这样做的好处是可以再目标对象的基础上,增强额外的...

2018-06-11 15:34:53

阅读数 219

评论数 0

原创 Spark调优

这里主要是推两篇博客: Spark性能优化指南——基础篇 Spark性能优化指南——高级篇

2018-06-08 16:56:22

阅读数 77

评论数 0

原创 groupByKey与reduceByKey

看一下这两张图,就可以大致了解到两个分别是怎么样了: 提到一下combineByKey:

2018-06-08 15:50:04

阅读数 166

评论数 0

原创 Spark Shuffle一览

目录 目录 Hash-based Shuffle 原始的Hash Shuffle机制 优化后的 HashShuffle 机制-Consolidated HashShuffle Sort-Based Shuffle bypass运行机制 Hash-based Shuff...

2018-06-08 15:15:27

阅读数 157

评论数 0

原创 JVM垃圾收集器-对比Serial、Parallel、CMS和G1

由Hbase调优中对JVM的优化而来 目录 目录 串行收集器Seiral Collector 并行/吞吐优先收集器Parallel/Throughput Collector CMS收集器CMS Collector G1收集器 Java8删除了永久代 串行收集器Seir...

2018-06-07 23:45:09

阅读数 494

评论数 0

原创 Hbase调优

Ps:这里列举一些常见的Hbase调优,并不全面,如果想要全面的了解hbase调优,可以参考Hbase的官方文档,或者参考这篇总结自官方的博客。 本文将从三个方面来对Hbase的调优进行总结:参数调优、表的设计、读取优化、写入优化。 目录 目录 一、参数调优 1.zk超期参数 2.R...

2018-06-07 22:19:11

阅读数 119

评论数 0

原创 Yarn on cluster 与 Yarn on client

Yarn-cluster   在Yarn-cluster模式下,driver运行在Appliaction Master上,Appliaction Master进程同时负责驱动Application和从Yarn中申请资源,该进程运行在Yarn container内,所以启动Applicatio...

2018-06-07 15:34:19

阅读数 192

评论数 0

原创 Java设计模式之三种工厂模式

目录 目录 工厂模式 工厂方法模式 抽象工厂模式 工厂模式 上图就是工厂模式的具体结构 概述:工厂模式的创建意图就是,把对类的创建初始化全都交给一个工厂来执行,而用户不需要去关心创建的过程是什么样的,只用告诉工厂我想要什么就行了。而这种方法的缺点也很明显,违背了...

2018-06-06 16:53:14

阅读数 67

评论数 0

原创 Java设计模式之单例模式

目录 目录 概念 特点 线程安全的问题 实现单例模式 饿汉模式 懒汉模式 概念 单例模式确保某个类只有一个实例,而且自行实例化并向整个系统提供这个实例。 在计算机系统中,线程池、缓存、日志对象、对话框、打印机、显卡的驱动程序对象常被设计成单例。这些应用都或多或少具有...

2018-06-06 15:29:35

阅读数 105

评论数 0

原创 Java设计模式之设计原则

目录 目录 设计模式的设计原则: 总原则—开闭原则 设计模式的六大原则 设计模式的设计原则: 总原则—开闭原则 对扩展开放,对修改封闭。在程序需要进行拓展的时候,不能去修改原有的代码,而是要扩展原有代码,实现一个热插拔的效果。所以一句话概括就是:为了使程序的扩展性好...

2018-06-06 14:29:04

阅读数 43

评论数 1

原创 面试琐碎知识小结(持续更新)

目录 目录 Hadoop集群搭建的步骤 Spark提交到Yarn上的过程 Hadoop杀死一个job python-openCV的颜色空间转换 RDD的特点 Hadoop集群搭建的步骤 1.配置host文件(写上集群里所有的机器及其对应的IP) 2.配置免密码...

2018-06-05 12:07:26

阅读数 85

评论数 0

原创 数据挖掘算法简略总结(等待继续更新,现在有点不想写这个)

目录 目录 PCA K-means SVM(支持向量机) 决策树 PCA 可以参考这篇文章 介绍:主成分分析法,在用统计分析方法研究多变量的课题时,变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形,变量之间是有一定的相关关...

2018-06-05 11:41:16

阅读数 243

评论数 0

原创 JVM原理及流程

本文参考链接1 本文参考链接2 目录 目录 简述 JVM的体系结构 Java代码编译和执行的整个过程 Java源码编译机制 类加载机制 类执行机制 JVM内存管理及垃圾回收机制 内存模型 垃圾回收机制 简述 首先我们看一下这一段描述 说起java,...

2018-06-04 00:19:11

阅读数 81

评论数 0

转载 Hive SQL调优总结

Hive SQL调优总结 本文参考链接(总结的很棒很全面) 这里只是总结了一下HQL上面的一些优化点,并不考虑Hadoop层面的参数、配置优化 目录 Hive SQL调优总结 目录 使用分区剪裁、列剪裁 少用count(distinct) 多对多的关联 合理使用MapJoin ...

2018-06-03 15:52:23

阅读数 3155

评论数 0

原创 ConcurrentHashMap --兼顾线程安全和运行效率

首先推荐一个网址(用漫画的形式讲解,图形结合通俗易懂很赞,文章的内容也是来源于此) 目录 目录 ConcurrentHashMap与hashmap相比主要是多了一个segment的概念 ConcurrentHashMap这么设计有什么好处呢 ConcurrentHashMap是如...

2018-06-02 22:15:27

阅读数 294

评论数 0

转载 SQL语句关键字大全

SQL语句的整理以及总结 SQL语句的整理以及总结 SQL语句的基本类型SQL语句的基本类型\color{lime}{SQL语句的基本类型} 特殊关键字特殊关键字\color{lime}{特殊关键字} 创建/插入/删除/修改创建/插入/删除/修改\color{lime}{创建/插入/删除...

2018-06-02 21:25:52

阅读数 10990

评论数 0

原创 关于hashtable和hashmap的区别

面试中常会出现的问题(码上以便记忆)首先在数据结构上他们基本上是相同的存储的为entry对象,该对象有四个属性:-K key 键对象-V value 值对象-int hash 键对象的hash值-Entry entry 指向链表中下一个Entry对象,可为null,表示当前Entry对象在链表尾部...

2018-06-02 16:55:43

阅读数 64

评论数 0

转载 numpy and pandas

码上几篇博客供自己复习用:numpy:https://blog.csdn.net/bbbeoy/article/details/72983726 (numpy+pandas)(基本函数大全)https://blog.csdn.net/weixin_38490102/article/details/...

2018-06-01 16:24:59

阅读数 164

评论数 0

原创 单元测试中的驱动单元和桩单元的理解

在复习软件测试的过程中,复习到单元测试,对驱动单元和桩单元的概念有点模糊,所以查阅资料更新理解于这里,方便以后回忆如下有一个模块结构的实例图:  假设现在项目组把任务分给了7个人,每个人负责实现一个模块。你负责的是B模块,你很优秀,第一个完成了编码工作,现在需要开展单元测试工作,先分析结构图:  ...

2018-05-27 15:46:02

阅读数 820

评论数 1

原创 关于几种排序的白话总结+动图(码上方便自己回忆)

                            对于排序算法的白话总结+动图   ps(多图预警) 一、理解 · 交换排序:冒泡排序、快速排序 1.冒泡排序:       挨个把最大值元素向右传递(比较相邻元素大小之后选择是否互换位置),传递一次排序完成一个,直至完成所有的排序...

2018-05-22 20:26:33

阅读数 1317

评论数 8

原创 Spark 的运行过程(本人的一些总结)

  最近在复习Spark,有了一些自己的总结,在这里码上留作自己以后回忆所用。   (ps:本文不涉及基本概念的解答,只提供一个大致的思路)       代码的编写,缺少不了的就是main函数,而一个使用Spark的代码是怎么写的呢,首先是main函数,在main函数里会先创建一个Spar...

2018-05-20 19:00:46

阅读数 199

评论数 0

提示
确定要删除当前文章?
取消 删除