- 博客(30)
- 收藏
- 关注
RSS订阅原创 Java深拷贝与浅拷贝
浅拷贝：对基本数据类型进行值传递，对引用数据类型进行引用地址传递,不产生新的对象，改变其中一个引用数据类型的值，另外一个对象也会跟随着改变。深拷贝：对基本数据类型进行值传递，对引用数据类型，创建新的对象，并复制对象的值。public class DeepCopy implements Cloneable{ private int data; private Copy...
2020-01-14 17:34:57
140
原创 观察者模式
观察者模式又称为发布-订阅模式，它定义一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这个主题对象在状态发生变化时，会通知所有的观察者对象，使他们能够自己更新自己。模式角色：Observer：抽象观察者，是观察者的抽象类，它定义了一个更新接口，使得在得到主题更改通知时更新自己。public interface IMObserver { void update(Str...
2020-01-12 13:56:31
146
原创 代理模式
3.7代理模式代理模式基本介绍为一个对象提供一个替身，以控制对这个对象的访问。即通过代理对象本身访问目标对象，这样的好处是可以在目标对象实现的基础上，增强额外的功能操作，即扩展目标对象的功能。被代理的对象可以是远程对象、创建开销大的对象或需要安全控制的对象代理模式有不用的形式，主要有三种静态模式、动态代理（JDK代理、接口代理）和Cglib代理（可以在内存动态的创建对象，而不需要实现接口...
2020-01-10 16:23:13
127
原创 适配器模式
3.1适配器模式适配器模式将某个类的接口转换成客户端期望的另外一个接口，主要目的是兼容性，让原本呢因接口不匹配不能一起工作的两个类可以协同工作，别名为包装器。适配器有分为三类：类适配器、对象适配器、接口适配器工作原理：将一个类转换成另一个接口，让原本不兼容的类兼容从用户角度看不到被适配者，是解耦的用户调用适配器转化出来的目标接口方法，适配器再调用被适配者的相关接口方法适配器角色：...
2020-01-08 10:14:19
134
原创 建造者模式
2.4建造者模式又称生成器模式，是一种对象构建模式。它可以将复杂对象的建造过程抽象出来，是这个抽象过成的不同实现方法可以构造出不同表现的对象。建造者是一步步创建一个复杂的对象，它允许客户只通过复杂对象的类型就可以构建它们，用户不需要知道细节。组成角色：Product产品角色，一个具体的产品类public class House { private String baise...
2020-01-07 14:22:45
111
原创 工厂模式
2.5工厂模式使用者可以直接消费产品而不需要知道其生产的细节组成角色：抽象产品（描述产品的公共接口，如水桶具备盛水功能）具体产品（公共接口的实现类，如圆桶，方桶）工厂（根据传入的参数生产不同的产品）2.5.1简单工厂模式public interface Api { //定义一个接口方法 void operation();}public class ApiIm...
2020-01-07 14:21:03
105
原创 MySQL-DML、约束、索引
2.2DML2.2.1 insert#数据插入格式insert into '表名'('字段1','字段2','字段3')values('','','');#省略字段名插入insert into '表名' values(所有的字段值);#一次插入多行数据insert into '表名'('字段1','字段2','字段3') values('','',''), v...
2020-01-03 14:03:42
228
原创 单例模式大结
保证在整个软件系统中，某个类只允许存在一个对象实例，并且该类只提供一个取得对象实例的静态方法。实现方式：饿汉模式（静态常量）/** * @author pandas * @ClassName SingleMode_StaticConst * @Description 单例模式-懒汉模式-静态常量 * @create 2019/12/31 19:59 */public clas...
2019-12-31 22:10:59
66
原创 JUC高并发与线程安全(3)
8.3阻塞队列使用场景8.3.1生产者消费者模式传统版class ShareData{ private int number=0; private Lock lock=new ReentrantLock(); private Condition condition=lock.newCondition(); public void increme...
2019-12-31 14:36:10
180
原创 JUC高并发与线程安全(2)
6、countDownLatch/CyclicBarrier/semaphorecountDownLatch初始化一个数值，阻塞线程知道倒数到0触发事件class countDownLatchDemo { public static void main(String[] args) throws InterruptedException { CountDownLat...
2019-12-30 22:23:22
100
原创 MySQL-DQL
1、MySQL基础1.1关键字表：table是数据库的基本组成单元，所有的数据都是以表格的形式组织，目的是可读性强一张表由若干行列组成，行称为数据/记录，列称为字段row：行，每一行代表的是一条数据column：列，又称字段，用于区分此段数据的含义，具备字段名、数据类型、相关约束等属性1.2SQL语句SQL是数据库标准语法，根据不同的功能分为一下四类：DQL：（数据查询语言）查询语...
2019-12-29 21:47:40
655
1
原创 JUC高并发与线程安全(1)
JUC高并发1、谈谈你对volatile的理解1.1volatile是Java虚拟机提供的轻量级的同步机制1.1.1保证可见性在内存模型中，线程将自身需要的对象数据从主机物理内存拷贝到线程工作内存（实际仍在物理内存，虚拟的划分约定），当线程对数据的修改经历三个步骤：从物理内存拷贝数据到工作内存在执行线程中修改数据将数据写回物理内存数据写完后，需要及时的通知其他需要此对象的线程，...
2019-12-29 21:42:54
397
转载 web.xml路径映射中的"/"与"/*"
在配置SpringMVC的时候发现一些问题，Tomcat启动正常却返回404的错误，参照了多方法都没有解决，配置如下<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3.org/200...
2019-11-03 18:30:31
242
原创 thymeleaf spring5的国际化配置
看了很多博客说的都是springBoot与thymeleaf的国际化实现，springBoot已经完成了大部分的mvc web配置，而这里只需要用到Spring MVC+thymeleaf的模版框架，完成一个非前后端分离的后台管理目录结构后台模版的静态文件、国际化语言、WEB-INF放在webapp模块录下，HTML文件放在WEB-INF/templates配置文件web.xml&...
2019-10-14 12:52:28
378
原创 Connecting to ResourceManager at /0.0.0.0:8032
今天在学习spark on yarn调优发现，从spark启动任务出现了 Connecting to ResourceManager at /0.0.0.0:8032的错误。当前集群配置如下：单核2G内存node002 namenode,datanode,zookeeper,zkFc,journalnode,resourcemanager,nodemanager,worker，historys...
2019-09-17 15:47:35
9422
原创 云服务器搭建kafka的坑
集群配置三台云主机搭建hadoop集群，zookeeper服务、Hbase、kafka。节点服务node002namenode,datanode,zkFC,zookeeper,HMaster ,HRegionServer,kafka Servernode003namenode,datanode,zkFC,zookeeper,HMaster ,HRegionServ...
2019-09-12 13:18:53
975
原创 scala+jsoup爬取B站动态数据
Scala+Jsoup爬取B站动态数据示例仅作为记录练习，不存在恶意爬取网页，如涉及违法，立删。代码过于简单不贴了。使用scala+jsoup爬取B站数据，由于大部分数据属于动态数据，直接访问主页是获取不到有用数据比如要爬取“生活区-搞笑类”的视频列表上面对应的URL是https://www.bilibili.com/v/life/funny/?spm_id_from=333.33...
2019-09-05 11:58:44
1877
原创 hadoop 工具 Sqoop
sqoop是一个开源工具，在RDBMS与hadoop间建立桥梁，可将RDBMS数据导入hadoop、Hbase、Hive等；反之将数据导入RDBMS。Sqoop优点高效、可控地利用资源，通过调整任务数来控制任务并发度，可以配置访问数据库的时间自动完成数据库与hadoop系统中数据类型的映射与转换支持多种数据库，mysql、Oracle等Sqoop工作机制Sqoop架构由客户端、ha...
2019-08-27 13:29:41
114
原创 hadoop架构总结（四）
hadoop架构总结（四）摘自机械工业出版社出版的《hadoop大数据技术基础及应用》，个人学习总结。zookeeper分布式协调服务zookeeper是一个用在分布式集群的开源应用程序协调服务工具，基于Google的Chubby组件实现，主要功能是应对分布式应用的部分错误，如错误转移。特点最终一致性，对于客户端来说，无论请求哪个Server最终呈现的是同一个视图。可靠性，如果一条消...
2019-08-24 09:47:09
84
原创 Scala入门基础
Scala入门 散装笔记Scala是一门面向对象同时也是面向函数的编程语言。Scala运行在JVM环境，天然继承java的类库。无缝集成java，兼容java的所有特性，并在java的基础上做优化纯面向对象编程语言，一切皆对象，包括一个值函数式编程，提供高阶函数，闭包、模式匹配、单一赋值等多种语法笔记主要记录的是在Scala语言中与java的一些区别以及注意事项，很基础的就不会特别全...
2019-08-23 11:38:39
127
原创 hadoop架构总结（三）
hadoop架构总结（三）摘自机械工业出版社出版的《hadoop大数据技术基础及应用》，个人学习总结。YARNYARN资源管理系统正式出现是在hadoop2.0版本，目的是解决1.0中执行mapreduce时JobTracker兼并资源调度和任务监控的过载问题。YARN是一个通用的资源调度管理器，除了为hadoop的mapreduce提供服务，还可以为spark/strom/hive等工具提...
2019-08-22 17:51:17
128
原创 hadoop架构总结（二）
hadoop架构总结（二）分布式文件系统HDFS-HA随着互联网的进步，无论是PC还是移动，个人还是企业，每天都有PB级的数据产生，其中大部分的数据都是没有意义的，少部分数据可以用来计算分析，作决策。最典型的例子就是音乐推荐、电影推荐、移动购物推荐。平台将大量用户点击形成的日志文件存储起来，通过数据清晰、存储，再进行实时计算获得优质决策。那么在大数据的背景下就需要有对应的大数据存储架构。以往...
2019-08-22 16:04:03
150
原创 hadoop架构总结（一）
hadoop架构总结（一）文章基于工业出版社出版《hadoop大数据技术基础及应用》个人学习总结。1 hadoop概述hadoop是一个开源的分布式文件存储处理架构。发展过程大致分为1.0版本和2.0版本。hadoop1.0由分布式存储系统hdfs以及分布式计算框架mapreduce组成。2.0的变化在于引进了资源调度框架YARN，使得mapreduce更加专注于处理计算。在2.0中还解决...
2019-08-22 11:15:53
253
原创 hadoop 初识spark
spark部署三台云服务器配置均为单核CPU、2G内存，集群开启zookeeper、journalnode、yarn。官网下载spark2.4.3解压后在etc/profile加入SPARK_HOME/bin编辑SPARK_HOME/conf/spark-env.sh,添加export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop...
2019-08-18 20:47:56
277
原创 hadoop的版本优化
优化与发展hadoop已经成为了大数据公认的处理框架，在业内得到广泛应用，又因其为开源项目，所以在开源社区十分活跃，在使用过程中逐渐得到改进和完善。通过不断的优化和提升，hadoop的生态组件也越来越丰富，支持的场景应用越来越广泛，提高了集群的可用性以及带来更高的资源利用率。新特性组件hadoop1.0hadoop2.0HDFS名称节点单点故障设计HDFS HA，提...
2019-08-16 10:41:07
213
原创 hadoop mapreduce原理
简介本文先介绍Google 开源项目mapreduce1.0版。mapreduce的设计是为实现一个抽象的计算框架，使用者不用关心底层如何实现，只需要关注业务逻辑从而计算海量、复杂的原始数据。编程模型设计理念是实现“计算向数据靠拢”，“数据向计算靠拢”会造成大量的I/O消耗，计算过程分为map和reduce阶段。存储在HDFS中的数据被切分成很多块，这些块可以分发到多个map任务并行处理，...
2019-08-15 21:19:22
388
原创 hadoop hdfs原理
简介HDFS 分布式文件系统，通过网络实现文件在多个计算机上进行分布式存储，具有处理超大数据集、流式处理、可以运行在廉价服务器等优点。与传统文件系统相比文件存储在多个计算机服务器，构成集群网络计算机集群由廉价硬件构成数据容错高，多副本存储分布式文件系统结构分布式文件系统采用“CS”架构，客户端通过RPC协议连接服务器，请求文件访问，客户端与服务器可以根据权限限制底层数据的访问。文...
2019-08-13 23:18:12
221
转载 hadoop eclipse部署
环境准备ubuntueclipsehadoop hdt插件hadoop2-9-2 编译文件以及源码配置ubuntu安装java，配置JAVA_HOME安装eclipse拷贝部署成功的hadoop编译文件以及源码到当前ubuntu安装hdt官方插件，用于在eclipse创建hadoop工程、加载HDFS等hdt插件下载，引用kkfd1002，hdt加载详细步骤可能会遇到...
2019-08-13 11:52:52
196
原创 hadoop 单机模式
为了快速测试mapreduce的计算程序，搭建单机版环境。准备工作安装java，执行java -verbose获取java安装位置,/etc/profile文件中编辑JAVA_HOME，source /etc/profile生效；安装ssh，并开启服务修改本机的hostname,因为默认都是localhost，在配置文件中存在很多默认localhost值，容易出错。创建密钥ssh-ke...
2019-08-12 17:52:08
100
原创 python之logging模块
log的作用-debuy调试：程序开发阶段对每一个可能产生的结果进行记录。-定位：日志具备等级属性，将提示/异常分等级记录，可准确定位程序运行状态-与IO操作相比，更节省系统资源log级别级别何时使用DEBUG细节信息，仅在提示诊断使用INFO确认程序按照预期进行WARNING警告信息，表明已经有或即将有错误发生（内存即将不足），程序仍在运行E...
2019-05-28 21:01:55
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人