- 博客(27)
- 资源 (4)
- 收藏
- 关注
原创 分布式大数据迁移工具 (二)
前边提到 这款工具发生的 历史背景、需求、预期 参考 : 分布式大数据迁移工具 (一)为了达到预期,必要的设计是不可缺失的。一、设计概要前端用例设计 1、用户能配置数据源(带库) 如 配置 user、uinfo、report 2、用户配置源下指定表 (源表 、 目标表) 如 加入 user_inf...
2018-09-14 17:33:21 2231
原创 实时数据处理也就这么个玩法
前奏:Storm实时处理框架(一)hadoop 集群搭建(一)hadoop 集群搭建(二)hbase(一) 伪集群搭建自从AI的概念火起来之后,不玩玩实时 ,而只知道离线处理数据,似乎已经不满足现在对数据分析的要求了,深感逗比的同时,哥们还是浅浅介绍一下实时需要掌握的技巧和核心点,架构图请自己画切。 技术支持: python + logs...
2018-09-08 17:58:40 1796
原创 Vue实操 前后端 手机版
安装工具系统 mac , 安装Vue。没brew的安装一下安装brew/usr/bin/ruby -e "$(curl -fsSL https://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"如果命令执行中卡在下面信息:Cloning into '/usr/local/Homebrew/Library/Taps/homebrew/homebrew-core'...Control + C中断脚本执行如下命令:cd "$(
2020-07-03 21:31:52 512
原创 Shiro实操
简介主流的java安全框架,可以不依赖任何容器,可以运行在javase和javaee项目中官网:http://shiro.apache.org/主要作用是对访问系统用户,进行身份认证,授权,会话管理,加密等常用操作为什么用过滤器能实现的功能要用shiro?解决了什么问题? 业务比较分散的情况下,编写和管理过滤器的逻辑会复杂和繁杂,可维护性极差。需要结构化和工程化的方式,去解决大型项目安全性的问题。 shiro就是用来解决大型项目的安全管理的系统化框架核心组...
2020-07-01 16:32:43 313
原创 linux系统部署springboot01 单机版
我的机器是mac1、下载安装VMware Fusion2、下载centos:http://mirrors.163.com/centos/7/isos/x86_64/3、打开VMware Fusion , 安装centos镜像如果不知道怎么安装,参考转载链接:https://blog.csdn.net/qq_29479041/article/details/825592784、item2 连接centositem2的连接方式行为:ssh root@xxx.xxx.xxx...
2020-07-01 01:57:30 512
原创 从分布式向中台化演变
我们公司是做p2p金融的公司,15年12月份刚加入这家公司的时候,整个公司就一个系统,当务之急是顶住日益增长的用户访问量,为此进行了长达1年之久的服务改造,总结一个字 : 拆。 拆 1、将数据库 、文件系统 、应用服务 拆开 , 一台服务器,变成3台服务器 2、将前端 和 后端 拆出来 (前后端分离) 3、将后端服务拆成多个 (集群) 4、数据库 读写分离 5、服务系统水平拆分 , 借款端: 用户模块、...
2020-06-29 13:22:13 253
原创 fastdfs+nginx 部署
如果是在本地安装的话,先关闭防火墙。如果在生产环境中,那么要加入防火墙规则,开放对应的端口号所有源码包都放在/usr/local/src目录下描述文档:一、首先安装fastdfs的依赖库libeventcd /usr/local/srctar zxvf libevent-2.0.21-stable.tar.gzcd libevent-2.0.21-stable安装lib...
2018-11-13 14:48:45 214
原创 几种常见排序算法(复杂度分析)
一般很少自己写算法去进行排序,实现相应的接口,指定排序规则,丰富的函数就帮助完成了排序需求,但是,掌握几门排序算法还是大有必要的。冒泡交换类排序,对相邻元素进行比较,如果第一个比第二个大(或者 小),进行交换。从第一对起,对每一对元素做相同比较操作,依次进行,这样末尾应该是最 大 (或者 小)的数字。重复上述步骤,除了最后一个。两个for循环,时间复杂度T(n^2)...
2018-10-10 18:08:17 339
原创 设计模式解释与用例
设计的六大原则单一职责原则(Single Responsibility Principle) 不要存在多于一个导致类变更的原因。通俗的说,即一个类只负责一项职责。里氏替换原则(Liskov Substitution Principle) 子类可以实现父类的抽象方法,不能覆盖非抽象方法;子类可以扩展自己的方法。该原则确保父类的行为不会改变,后续有对系统做扩展时,能够保...
2018-10-09 22:05:53 211
原创 类的加载过程
类加载过程图类加载机制执行过程可见,子类调用父类加载器,如果无法加载成功,才找自身的findClass。双亲委派机制在java命令行中编译Hello.java文件会生成Hello.class文件,class文件是字节码格式文件。java虚拟机并不能直接识别.java文件,但是可以识别javac编译后的.class文件。环境变量简单介绍环境变量,便于加载过程理解。JA...
2018-10-08 16:25:42 225
原创 JVM 理解(二)
JVM 理解(一)谈到了jvm工作机制、内存模型、以及内存的垃圾回收算法今天继续深入,再谈谈jvm内存区域划分 和 哪些区域可能发生OutOfMemoryJVM内存区域组成部件分析程序计数器(Program Counter Register) 在JVM规范中,每个线程都有它自己的程序计数器,任何时间一个线程都有一个方法在执行,有就是所谓的当前方法。程序计数器会存储当前线...
2018-09-29 20:53:10 173
原创 java 线程池(一) 概述
为什么要有线程池线程的创建和销毁存在一定的开销,利用线程池技术可以提高资源利用效率。java提供的线程池一般利用Executors提供通用的线程池创建,创建不同配置的线程池。 newCachedThreadPool() 用来处理大量短时间工作任务的线程池 比如 快算。 它会试图去缓存线程并重用,当无缓存线程可用,会创建新的工作线程,如果线程闲...
2018-09-29 17:06:48 163
原创 JVM 理解(一)
JVM历史了解1996年 Classic VM发布,到2002年jdk1.4 Classic VM退出历史舞台 NIO问世。2004年jdk1.5发布产生重要改变,增加 范型、注解、装箱、枚举、可变长参数,都是我们现在常用到的。2011年jdk1.7发布NIO2即现在的AIO等2014年jdk1.8 Lambda表达式问世。CurrentHashMap升级 、对IO做了升级等...
2018-09-28 16:40:22 211
原创 复杂度分析(一) 分析算法的执行效率
为什么要进行复杂度分析? 有人会想,平时一个功能都会有相应的性能测试,跑一遍不就好了吗,为什么还要去分析呢? 首先,不同的设备配置如i3和i7处理器,同一个功能跑一遍,耗时肯定是不一样的,所以测试环境会影响判断。 再者,数据量的大小也会影响对功能性能的判断,极端的比如同步10000条数据和同步10000w条数据,性能波动也会影响判断。...
2018-09-28 15:23:09 801
原创 java 线程理解
怎么理解线程和进程 单进程单线程:一个人在一个桌上吃菜 单进程多线程:多个人分享同一个桌子上的菜 多进程单线程:多个人在自己的桌上吃菜为什么需要用到多线程 从上面可以看出来,多线程实际上是对共享业务瓜分处理的一种机制,这样可以充分利用了硬件资源,处理器资源利用,缩短业务处理时间。 适合场景 主要用于计算机同时执...
2018-09-28 13:25:29 737
原创 BIO、NIO、AIO 区别和应用场景
前边简单介绍过IO的基本情况Java IO流简单回顾对于IO我们应该非常熟悉了,IO不仅仅针对文件的操作,网络编程socket的通信,就是IO操作。输入、输出流(InputStream、OutputStream)用于读取或写入字节,如操作图片、视频等。Reader和Writer 则用于操作字符,增加了字符编码功能。本质上计算机操作都是字节,不管是网络或者文件,Reader和Wr...
2018-09-27 11:14:08 45219 3
原创 Java IO流
Java IO概要 Java.io包中5个核心类和一个重要接口,如下图 类 说明 File 文件类 InputStream 字节输入流 OutputStream 字节输出流 Reader 字符输入流 Writer 字符输出流 接口 Serializable 序列化...
2018-09-26 17:07:07 978
原创 java常用集合
首先请区分Collections , 它只是集合操作的工具类。下面一张图展示常用List、Set 集合下面一张图展示常用Map集合族谱 常用集合随笔 List List之下需要注意的集合实现在ArrayList 、 LinkedLIst、Vector下的Stack。 存储元素的特点:有序可重复,有序即入和出顺序一致。...
2018-09-25 22:52:23 331
原创 String、StringBuffer、StringBuilder 区别
基本概述String是典型的Immutable类,这个在 final、finally、finalize 区别 中有提到过,类被声明为final、属性被声明为final,由于其不可变的性质,拼接、截取等动作,都会产生新的String对象。StringBuffer就是为了解决字符串拼接、截取造成的太多中间对象而提供的一个类,它是线程安全的可修改字符序列,但就是由于线程安全机制,导致额外的性...
2018-09-25 13:37:01 139
原创 final、finally、finalize 区别
一般性概述: fianl 修饰 类、方法、变量 , 修饰类即此类不可继承扩展,修饰方法则此方法不可重写override,修饰变量即变量不可修改 finally 是java能保证重要代码一定要被执行的手段。一般try finally 或 try catch finally 联合使用,如进行连接释放、锁释放操作 finalized 保证对象在被垃圾回收之前,完成对特定资源的回...
2018-09-25 11:28:48 175
原创 hadoop 伪分布式搭建与测试
一、准备 linux 环境下 设置hostname sudo hostnamectl set-hostname hadoop0001 设置hosts vim /etc/hosts▽127.0.0.1 localhost ::1 localhost 192.168.1.103 hadoop0001 ...
2018-09-17 23:01:17 265
原创 分布式大数据迁移工具 (一)
一 、 背景介绍 : P2P公司不断的发展,系统不断的迭代,业务越来越多,系统也越来越多,最终整个公司技术部分根据业务划分成:借款端、理财端、和移动端 ,目前公司的数据库也拆成了三大块,基于诸多历史原因,表结构不明确、各个端表设计冗余、数据冗余,为业务部门梳理公司业务和制作有效报表带来了极大的困难。 二 、 需求与设计: 基于之上的历史原因,公司要求创建一个数仓,...
2018-09-13 22:20:38 1248
原创 hadoop 集群搭建(二)
前边完成了基本的环境搭建 参考 :hadoop 集群搭建(一)下面安装hadoop一 、解压tar -zxvf hadoop-2.6.0-5.7.0.tar.gzcdhadoop-2.6.0-5.7.0/etc/hadoopls -l二、配置首先配置core-site.xml <configuration> ...
2018-09-13 14:30:00 167
原创 hadoop 集群搭建(一)
一、 准备 虚拟机两台 Linux hadoop000 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux Linux hadoop001 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 ...
2018-09-12 21:44:46 180
原创 Storm实时处理框架(一)
一 、 是什么: twitter开源的,分布式、流式计算、容错的实时计算系统。 二、有撒用: 实时性场景 对于大量存在的实时数据,如股票,实效性强,量大,需在流数据不断变化过程中实时计算分析,把结果推给用户。 能提供 :适应流式数据,不间断查询,稳定,可扩展性强、分布式计算、并行计算、热点数据缓存策略、服务端计算三、优点: ...
2018-09-12 10:19:21 1018
原创 hbase(一) 伪集群搭建
一句话介绍 hbase 高可靠、高性能、可伸缩、分布式 的列式存储型数据库。依赖: 环境 : Jdk1.8 zookeeper 为hbase分布式存储协同服务 (伪分布式可暂不安装,hbase自带) 安装: 下载hbase: https://www.apache.org/dyn/closer....
2018-09-11 16:05:56 499
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人