- 博客(39)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spring cloud config源码 client(一)
spring cloud config源码 client(一)整体架构模块client整体包大体类结构介绍client入口我们先看spring.factories# Auto Configureorg.springframework.boot.autoconfigure.EnableAutoConfiguration=\org.springframework.cloud.conf...
2019-12-31 11:25:13
729
1
原创 linux与设备磁盘分区的方式与标识（三）
标签（空格分隔）： linuxlinux所有的东西都是以文件的形式去存储的。接下来我们来认识下linux中设备锁对应的文件名称各设备在linux中的命名设备linux中的文件名称SATA接口的硬盘/dev/sd[a-d]所有的硬件设备都在/dev里面下图是截图：磁盘分区系统安装肯定是在磁盘上的，然而磁盘也是需要分区的比如C,D,E盘，那linux分区的文件...
2019-12-02 20:59:44
551
原创 复杂度分析（一）
标签（空格分隔）： 数据结构与算法学习引言：前面的两章理论引导，可以对我们的现有思想做下碰撞。接下来就要进入入门篇的内容了，复杂度分析数据结构与算法的半壁江山。为啥要进行复杂度分析？ 这里得先提一下，算法和数据结构本身解决的就是程序运行的快和省，所以衡量一个算法的指标就是程序执行效率。由于技术水平的进步，现在的监控及测试工具有很多，我们完全可以通过这种外部的技术手段 对现有的程序的执行...
2019-11-25 21:25:39
427
原创 spring揭秘之IOC spring（一）
Spring Ioc 之Service Provider干什么的IOC的目的是控制反转，那么我们只要去声明我们需要的自有人为我们解决这个依赖的问题。我们就可以将精力集中在业务逻辑上，而Service Provider的职责是什么呢，就是你声明了 我去帮你将依赖设置进去，干这个脏活累活的角色就叫Service Provider了。职责1.创建对象 要单独拿出来防止污染客户端（a对象需要b对...
2019-09-24 20:51:50
221
原创 磁盘满了排查遇到的坑
坑之前因为要搭建hdfs，所以在某几个服务器直接删除了一些程序文件啥的为了清空间。但是也就是这一步骤出现大问题了。后续老是出现磁盘空间不足通过 df -h查看 / 磁盘占用100%通过 cd /du -sh 查看与df中的磁盘暂用并不一样df查看是100G du -sh才16G原来是存在程序暂用了文件并木有真正的删除，需要怎么做呢。lsof | grep deleted （通过此...
2019-09-18 15:55:54
312
1
原创 scala基础之五 隐式转换和隐式函数
标签（空格分隔）： hadoop scala带着问题去学习什么是隐式转换，隐式参数？有什么用？隐式转换也是一种增强，丰富现有类库功能的一种方式怎么使用？隐式转换的触发条件，和非触发条件？隐式转换如果是使用过动态代理或者aop，或者装饰着模式 那么应该知道在许多情况下我们可以通过这些方法进行类功能增强。而隐式转换也是一种增强，丰富现有类库功能的一种方式。隐式转换函数隐式转换函...
2019-09-06 15:03:29
198
原创 scala之高阶函数 柯里化(四)
标签（空格分隔）： hadoop scala简介（来源快学scala）scala是一个集对象和函数于一体是一门编程语言，但是实际上也有主次的，在scala中函数才是头等公民（贵族）。所以这一节我们主要是来学习函数和一些高阶的语法。函数的用法与操作作为值的函数//函数作为值 val num = 3.15 import scala.math._ val fun = ceil _ f...
2019-09-03 19:33:23
156
原创 scala基础之三 scala并发入门（akka之actor）
标签（空格分隔）： hadoop scala前言前两节我们学习了scala的基础语法，包括基本类型，流程控制，模式匹配，和对应的类，对象，特征的定义，那么在java中我们知道，为了提高效率不可避免的会用到异步，线程提高我们的处理效率。今天我们来学习下scala的并发编程，闲话少说我们下面进入正题。ActorActor基础类库使用简介2.10之前是使用Actor作为并发编程模型，2.10...
2019-08-11 18:33:48
300
原创 scala与java混合maven项目构建
我们可正常创建maven项目，但是需要依赖引入scala的一类同时添加plugin用于编译。 <!--scala file compile--> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala...
2019-08-08 09:42:21
255
原创 scala基础之二 scala相关语法类，对象，特征和修饰符（二）
标签（空格分隔）： hadoop简介在scala的一中我们已学了了部分的scala特有语法，这里再坐下完善。scala的类啊之类的一些概念做下介绍，同时用scala写一些小demo。scala基础语法scala与java有很多相似之处，以下我们来看下这之中的相似之处首先： scala既然是面向对象与函数式编程的集成，那么scala的面向对象又如何体现呢。对象：scala以 objec...
2019-08-08 09:18:09
329
原创 Command line is too long. In order to reduce its length classpath file can be used.idea命令行过长
标签（空格分隔）： idea小记关于在idea运行项目命令行过长问题Command line is too long. In order to reduce its length classpath file can be used. Would you like to enable classpath file mode for all run configurations of your ...
2019-08-05 16:15:44
1196
原创 scala入门，概念，安装,基础结构及操作（一）
标签（空格分隔）： hadoop简介（我们总该知道这是干什么的有什么特点）scala官方简介是将函数式和面向对象编程结合起来的一种高阶语言。提供了巨大的生态lib库方便访问，可在jvm上运行高性能的应用。并兼容现有的Java程序。有什么特点呢：1.优雅：将函数式编程结合面向对象可方便编程。api代码写出来比较好看。2.快速：scala有两个快，1）编程速度快，往往java要多行而sca...
2019-08-01 10:56:37
172
原创 storm学习入门之概念、安装、简易使用（一）
标签（空格分隔）： hadoop重点内容storm的核心组件…编程模型…task 并发度storm是什么storm是一个流式计算框架，神马是流式计算呢，就是针对于离线计算数据的延时性的补充，人家快啊，这样就既可以有实时的数据，也有历史的（mapreduce，spark）统计数据，两手抓嘛，心里才能安稳不是。核心组件我们还是按图索骥，先上一下我们滴下面这个图欣赏一下（欣赏不来没关系...
2019-07-23 17:33:53
543
转载 hbase的执行原理（三）
标签（空格分隔）： hadoop转自：https://www.cnblogs.com/qingyunzong/p/8692430.html前言我们前面啊已经有了安装和hbase ddl 和dml的相关api操作，那么现在我们来了解下，hbase的执行原理是什么。这节我们采用看图找逻辑的形式去挨个了解下，各个环节的执行逻辑。原理介绍先来一张图look一下我们按图索骥，分角色看看挨个介...
2019-07-18 20:33:04
252
原创 hadoop之hbase操作（二）
标签（空格分隔）： hadoophbase的操作hbase的shell交互操作（常用操作）入口： $HBASE_HOME/bin/hbase shell退出： > quit定义： >create ‘表名’, ‘列族名1’,‘列族名2’,‘列族名N’例： create ‘people’,‘student’,‘businessman’ 创建一个人的表 列族有学生和商人。l...
2019-07-18 15:43:12
199
原创 hadoop之hbase入门与安装（一）
标签（空格分隔）： hadoop前言hbase是什么 是以hdfs作为数据支撑的列式数据库。hbase怎么用 可以使用命令行和api完成调用hbase与传统数据库的比较 这里在于大数据量的前提下，当然本身数据库也可以分库分表，但需要额外的技术支持才可以。1、传统数据库遇到的问题：1）数据量很大的时候无法存储2）没有很好的备份机制3）数据达到一定数量开始缓慢，很大的话基本无法支撑...
2019-07-15 17:09:27
320
原创 zookeeper安装
标签（空格分隔）： 安装手册解压su – hadoop（切换到hadoop用户）tar -zxvf zookeeper-3.4.5.tar.gz（解压）重命名mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）修改环境变量1、su – root(切换用户到root)2、vi /etc/profile(修改文件)...
2019-07-15 14:47:15
120
原创 flume入门笔记
标签（空格分隔）： hadoop学习三问flume是什么？flume干什么？flume怎么用？flume官网地址flume是什么Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts o...
2019-07-09 11:30:51
243
原创 linux前世今生（二）
标签（空格分隔）： linuxlinux是什么我们带着几个问题来学习linux？首先linux是操作系统还是软件？linux来自哪里？linux为啥不用钱？linux是操作系统吗答案是的。还记得一里面我们讲的操作系统的概念吗。内核：驱动所有硬件资源，统一硬件资源分配，提供计算机运行支持功能，系统调用：提供给软件工程师开发软件调用。那么linux其实就是操作系统啦。linux来自哪里，早...
2019-07-04 11:07:52
1347
原创 linux一阶段计算机相关概念（一）
linux一阶段计算机相关概念（一）标签（空格分隔）： linux计算机概念计算机是啥就是输入，分析，输出就可以称为计算机。计算机核心五单元（有啥）输入单元：键盘，鼠标等内存：输入输出的缓存，cpu与输入输出的交互的中间层cpu的两大单元，cpu主要功能是用于流程控制和运算1)逻辑计算单元：用于控制计算和流程2)控制单元：协调各个组件资源输出单元：显示屏之类的cpu的处理...
2019-07-01 13:50:01
318
原创 docker入门之容器、镜像、相关操作笔记
本次笔记知识来源于docker的第一本书标签（空格分隔）： docker简介（几组概念）容器（是什么）容器是运行在操作系统内核之上的用户空间。所以容器又称“操作系统级虚拟化”。docker容器 ：相比较虚拟化技术，它少了模拟层和管理层，直接调用系统接口所以容器可以比虚拟化（虚拟机更加的轻量级）。得益于linux的内核特性，命名空间，空间组，管理的容器与宿主机隔离更加彻底，拥有自己的网络...
2019-06-28 15:52:27
321
原创 hadoop入门之mapreduce终结篇-Mapreduce案例（六）
标签（空格分隔）： hadoop简介本节主要是针对hdfs在业务中的日常应用而讲解的一些案例，用于训练我们在使用hdfs的方式。（ps:mr程序的本质是根据规则做数据拆分，之后根据key做好reduce的分组操作）1 案例数据存放： 链接：https://pan.baidu.com/s/1nsAcNdWE_glFqyx4AJ-GVg提取码：lkdr1.1 使用mr实现 join1....
2019-06-02 23:07:04
218
原创 hadoop入门之mapreduce shuffle与yarn原理(五)
标签（空格分隔）： hadoop1 概念shuffle是什么？先说map reduce mapreduce本身是一个，map处理中间数据，之后传给reduce阶段完成数据的归并处理。那么shuffle的定义：就是maptask数据与reduce task数据的传递流程，称之为shuffle。2 shuffle总体架构2.1 shuffle总体架构图shuffle是从map端输出到r...
2019-05-21 18:20:32
429
原创 hadoop入门之mapreduce（四）
标签（空格分隔）： hadoop1.概念mr是什么：mapreduce 一个分布式编程框架通过这个框架我们嵌入相关代码就能实现分布式运算程序，一般而言都需要分成两个阶段，第一阶段在每台机器上做运算，之后需要将所有数据的运算结果进行汇总，这就是map 和reduce。2.几个角色及相互关系2.1编程角色Mapper： 用于执行map task的时候调用Reducer: 用于执行red...
2019-05-10 16:19:41
302
原创 hadoop入门hdfs原理（三）
标签（空格分隔）： hadoop概述首先hdfs是什么，是一个文件存储系统，框架设计上都有什么机制去保证数据的存储可靠性角色机制介绍（什么角色，什么滴干活）角色datanode:存储具体数据（比如我们码农）namenode:记录相关数据关联（类似管理层，管理但不具体参与细节）secondary namenode:用于做namenode的镜像备份block:数据存储单元（hdfs的...
2019-05-04 17:53:58
483
原创 hadoop入门之hdfs操作（二）
标签（空格分隔）： hadoop概述上一节我们已经搭建了集群，那么这节我们从google的三架马车中的GFS，文件存储系统hdfs操作开始学习。1.环境搭建window环境搭建1.1.HADOOP_HOME配置流程首先我们在windows操作需要有window操作的hadoop相关操作的一些本地native库，所以需要配置HADOOP_HOMEhadoop window编译类库可于...
2019-05-04 17:48:16
826
原创 hadoop入门之集群搭建（一）
标签（空格分隔）： hadoophadoop集群搭建1 centos准备####静态网络配置我是centos7的 配置下对应的静态网路地址vi /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetBOOTPROTO=static #静态网路DEFROUTE=yesPEERDNS=yesPEERROUTES=yesIP...
2019-04-30 13:38:44
2793
2
转载 转载：计算机底层知识拾遗（一）理解虚拟内存机制
这个系列会总结计算机，网络相关的一些重要的底层原理。很多底层原理大家上学的时候都学过，但是在学校的时候大部分的同学都是为了应付考试而学习，过几天全忘了。随着工作的时间越久，越体会到这些基础知识的重要性。做技术和练武功一样，当你到了一定的阶段，也会遇到一个瓶颈，突破了你的眼界就会大不同，突破不了，只能困...
2019-04-29 09:39:21
221
原创 # elasticsearch入门篇-简介&安装&操作（一）
简介es 是啥（简介）es是一个分析搜索引擎，底层用的是Apache Lucence 库实现的，为了使用方便 es通过RestFul api提供操作。官方这样介绍：分布式的实时文件存储，每个字段都被索引并可被搜索分布式的实时分析搜索引擎可以扩展到上百台服务器，处理PB级结构化或非结构化数据就是有分是不可拓展存储量很大的搜索引擎背景交代shay这个程序猿，失业了，然后说是给妻子构...
2019-04-18 18:00:33
224
原创 springcloud源码分析之Eureka注册逻辑(一)
springcloud源码分析之Eureka注册逻辑(一)标签（空格分隔）： springcloudEureka是啥eureka是netflix 公司开发的服务治理机制。包括注册中心，服务注册，服务发现三个角色。其中微服务一般自身即是服务发现者又是服务注册者。eureka的server和client应用demo放在github上作为demo 下载后可在本地运行 前提是有maven和ja...
2019-04-14 21:39:01
467
原创 git从入门到会用（一）
git从入门到会用（一）标签（空格分隔）： gitgit是啥git是分布式版本管理工具，简单的讲解决的是多人协作开发的冲突合并问题。（复杂的讲也不会）git前世今生git的由来由linus这位大大开源linux，由于强烈反对集中式版本管理，因其速度慢，且必须联网，其他的一些版本管理工具有些收费的。之后由于linux社区的飞速膨胀，代码贡献越来越多，没办法 大家都抱怨影响人家的激情了。于...
2019-04-10 10:20:40
146
原创 cnetos7j静态网络配置及克隆导致网络不可访问问题
cnetos7网络配置及克隆导致网络不可访问问题标签（空格分隔）： linux配置静态ip以下为我本身的虚拟机静态配置，虚拟机静态地址配置 首先一个静态配置：在/etc/sysconfig/network-scripts 之下 可通过ifconfig获取该网卡对应的名称再找对应的文件BOOTPROTO=static #是否配置静态的 这里当然是DEFROUTE=yesP...
2018-08-31 11:05:40
596
原创 java cup过高排查
1.获取cpu过高的进程通过top命令获取 top进入界面后 通过shift+p 获取cpu从高到底的进程获取cpu过高线程方法1:通过top获取通过 top -p -H 查看当前进程内的线程及所占cpu信息(ps:) 如下所示 top -Hp 30872 如上图所示，linux下，所有的java内部线程，其实都对应了一个进程id，也就是说，lin...
2018-06-12 17:43:41
1005
原创 NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationResult.getProblems()[Lorg/eclipse/jd
Springboot项目启动的时候不报错，启动完了访问jsp的时候报错，主要是因为 org.apache.tomcat.embed tomcat-embed-jasper provided这个依赖有点问题，没有设定scope实际上是包冲突了，需要设置成provided，重新导入即可
2017-10-17 11:37:33
621
原创 java面试算法之快速排序
快速排序是效率比较高的排序算法之一，其主要用的思想就是分治法（分而治之） 完成递归排序。 快速排序的步骤包含以下三个步骤： 1.获取基准值 2.获取分割位置 partition同时对数组内元素大于基准值的放放右边，小于的放左边 3.最后递归实现调用 拆分数组first-partition partition-last 重复1,2步骤即可完成数组的排序 （面试需要所以写的相当匆忙 后续有时
2017-09-02 17:14:55
418
原创 创建模式之二 建造者模式
建造者模式定义理解什么是建造者模式:建造者模式：是将一个复杂的对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。 对象的构建:就是创建对象的流程(有模板方法的影子) 对象的表示:而一个对象的表示是什么呢,对象的表示就是对象内部组件,表示不同就是组件不一致,这里的组件可以是本身产品对其他对象的引用,也可以是本身产品的某个属性.理解:创建要有流程,这个流程就是去设置各个属性.而表示不同
2017-06-12 17:24:09
444
原创 创建模式之一 ---工厂模式
构造模式概述通过构造模式可以让创建产品对象客户端不在依赖具体产品,转而依赖工厂获取产品对象,实现客户与产品之间的解耦,也是封装变化原则的一种体现.uml图 工厂方法模式案例Uml图工厂方法模式定义:定义一个创建对象的接口,由子类决定具体创建哪个对象,它让实例化延迟到子类上. 应用范围:1.一个类不知道要创建哪个产品. 2.一个类希望由子类来指定创建具体产品对象.应用案例:现有两
2017-06-11 23:21:38
364
原创 HashMap与HashTable原理及数据结构
HashMap与HashTable原理及数据结构hash表结构个人理解hash表以计算出的hashcode或者再hashcode之后加工,再通过一个散列算法 获取到对应的数组地址映射.然后将值存储到该映射地址上,存储所在的集合称为hash表 ok大功告成.hash表结构 散列法：元素特征转变为数组下标的方法。散列法：元素特征转变为数组下标的方法 就是个人理解里边对散列法的概括(ps:就是越概越扩)
2017-06-09 09:26:29
1223
原创 springmvc拦截器针对ajax()请求的带特殊请求头的处理
ajax发送原理,ajax先发送一个OPTIONS(预请求,如果往回写相关消息告知与请求成功,预请求获取不到参数)预请求发送成功后,则才会将之后的真正请求发送过来. 而浏览器出于安全考虑，限制了JS发起跨站请求，使用XHR对象发起请求必须遵循同源策略（SOP：Same Origin Policy），跨站请求服务器返回的数据会在浏览器被拦截. 所以在拦截器需要做跨
2017-04-09 16:00:20
4303
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人