- 博客(27)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 分布式大数据迁移工具 （二）
前边提到 这款工具发生的 历史背景、需求、预期 参考 ： 分布式大数据迁移工具 （一）为了达到预期，必要的设计是不可缺失的。一、设计概要前端用例设计 1、用户能配置数据源（带库） 如 配置 user、uinfo、report 2、用户配置源下指定表 （源表 、 目标表） 如 加入 user_inf...
2018-09-14 17:33:21
2227
原创 实时数据处理也就这么个玩法
前奏：Storm实时处理框架（一）hadoop 集群搭建(一)hadoop 集群搭建(二)hbase（一） 伪集群搭建自从AI的概念火起来之后，不玩玩实时 ，而只知道离线处理数据，似乎已经不满足现在对数据分析的要求了，深感逗比的同时，哥们还是浅浅介绍一下实时需要掌握的技巧和核心点，架构图请自己画切。 技术支持： python + logs...
2018-09-08 17:58:40
1793
原创 Vue实操 前后端 手机版
安装工具系统 mac ， 安装Vue。没brew的安装一下安装brew/usr/bin/ruby -e "$(curl -fsSL https://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"如果命令执行中卡在下面信息：Cloning into '/usr/local/Homebrew/Library/Taps/homebrew/homebrew-core'...Control + C中断脚本执行如下命令：cd "$(
2020-07-03 21:31:52
507
原创 Shiro实操
简介主流的java安全框架，可以不依赖任何容器，可以运行在javase和javaee项目中官网：http://shiro.apache.org/主要作用是对访问系统用户，进行身份认证，授权，会话管理，加密等常用操作为什么用过滤器能实现的功能要用shiro？解决了什么问题？ 业务比较分散的情况下，编写和管理过滤器的逻辑会复杂和繁杂，可维护性极差。需要结构化和工程化的方式，去解决大型项目安全性的问题。 shiro就是用来解决大型项目的安全管理的系统化框架核心组...
2020-07-01 16:32:43
310
原创 linux系统部署springboot01 单机版
我的机器是mac1、下载安装VMware Fusion2、下载centos：http://mirrors.163.com/centos/7/isos/x86_64/3、打开VMware Fusion ， 安装centos镜像如果不知道怎么安装，参考转载链接：https://blog.csdn.net/qq_29479041/article/details/825592784、item2 连接centositem2的连接方式行为：ssh root@xxx.xxx.xxx...
2020-07-01 01:57:30
509
原创 从分布式向中台化演变
我们公司是做p2p金融的公司，15年12月份刚加入这家公司的时候，整个公司就一个系统，当务之急是顶住日益增长的用户访问量，为此进行了长达1年之久的服务改造，总结一个字 ： 拆。 拆 1、将数据库 、文件系统 、应用服务 拆开 ， 一台服务器，变成3台服务器 2、将前端 和 后端 拆出来 （前后端分离） 3、将后端服务拆成多个 （集群） 4、数据库 读写分离 5、服务系统水平拆分 ， 借款端： 用户模块、...
2020-06-29 13:22:13
252
原创 fastdfs+nginx 部署
如果是在本地安装的话，先关闭防火墙。如果在生产环境中，那么要加入防火墙规则，开放对应的端口号所有源码包都放在/usr/local/src目录下描述文档：一、首先安装fastdfs的依赖库libeventcd /usr/local/srctar zxvf libevent-2.0.21-stable.tar.gzcd libevent-2.0.21-stable安装lib...
2018-11-13 14:48:45
214
原创 几种常见排序算法(复杂度分析)
一般很少自己写算法去进行排序，实现相应的接口，指定排序规则，丰富的函数就帮助完成了排序需求，但是，掌握几门排序算法还是大有必要的。冒泡交换类排序，对相邻元素进行比较，如果第一个比第二个大（或者 小），进行交换。从第一对起，对每一对元素做相同比较操作，依次进行，这样末尾应该是最 大 （或者 小）的数字。重复上述步骤，除了最后一个。两个for循环，时间复杂度T(n^2)...
2018-10-10 18:08:17
338
原创 设计模式解释与用例
设计的六大原则单一职责原则（Single Responsibility Principle） 不要存在多于一个导致类变更的原因。通俗的说，即一个类只负责一项职责。里氏替换原则（Liskov Substitution Principle） 子类可以实现父类的抽象方法，不能覆盖非抽象方法；子类可以扩展自己的方法。该原则确保父类的行为不会改变，后续有对系统做扩展时，能够保...
2018-10-09 22:05:53
208
原创 类的加载过程
类加载过程图类加载机制执行过程可见，子类调用父类加载器，如果无法加载成功，才找自身的findClass。双亲委派机制在java命令行中编译Hello.java文件会生成Hello.class文件，class文件是字节码格式文件。java虚拟机并不能直接识别.java文件，但是可以识别javac编译后的.class文件。环境变量简单介绍环境变量，便于加载过程理解。JA...
2018-10-08 16:25:42
223
原创 JVM 理解（二）
JVM 理解（一）谈到了jvm工作机制、内存模型、以及内存的垃圾回收算法今天继续深入，再谈谈jvm内存区域划分 和 哪些区域可能发生OutOfMemoryJVM内存区域组成部件分析程序计数器（Program Counter Register） 在JVM规范中，每个线程都有它自己的程序计数器，任何时间一个线程都有一个方法在执行，有就是所谓的当前方法。程序计数器会存储当前线...
2018-09-29 20:53:10
170
原创 java 线程池（一） 概述
为什么要有线程池线程的创建和销毁存在一定的开销，利用线程池技术可以提高资源利用效率。java提供的线程池一般利用Executors提供通用的线程池创建，创建不同配置的线程池。 newCachedThreadPool() 用来处理大量短时间工作任务的线程池 比如 快算。 它会试图去缓存线程并重用，当无缓存线程可用，会创建新的工作线程，如果线程闲...
2018-09-29 17:06:48
161
原创 JVM 理解（一）
JVM历史了解1996年 Classic VM发布，到2002年jdk1.4 Classic VM退出历史舞台 NIO问世。2004年jdk1.5发布产生重要改变，增加 范型、注解、装箱、枚举、可变长参数，都是我们现在常用到的。2011年jdk1.7发布NIO2即现在的AIO等2014年jdk1.8 Lambda表达式问世。CurrentHashMap升级 、对IO做了升级等...
2018-09-28 16:40:22
206
原创 复杂度分析（一） 分析算法的执行效率
为什么要进行复杂度分析？ 有人会想，平时一个功能都会有相应的性能测试，跑一遍不就好了吗，为什么还要去分析呢？ 首先，不同的设备配置如i3和i7处理器，同一个功能跑一遍，耗时肯定是不一样的，所以测试环境会影响判断。 再者，数据量的大小也会影响对功能性能的判断，极端的比如同步10000条数据和同步10000w条数据，性能波动也会影响判断。...
2018-09-28 15:23:09
796
原创 java 线程理解
怎么理解线程和进程 单进程单线程：一个人在一个桌上吃菜 单进程多线程：多个人分享同一个桌子上的菜 多进程单线程：多个人在自己的桌上吃菜为什么需要用到多线程 从上面可以看出来，多线程实际上是对共享业务瓜分处理的一种机制，这样可以充分利用了硬件资源，处理器资源利用，缩短业务处理时间。 适合场景 主要用于计算机同时执...
2018-09-28 13:25:29
734
原创 BIO、NIO、AIO 区别和应用场景
前边简单介绍过IO的基本情况Java IO流简单回顾对于IO我们应该非常熟悉了，IO不仅仅针对文件的操作，网络编程socket的通信，就是IO操作。输入、输出流（InputStream、OutputStream）用于读取或写入字节，如操作图片、视频等。Reader和Writer 则用于操作字符，增加了字符编码功能。本质上计算机操作都是字节，不管是网络或者文件，Reader和Wr...
2018-09-27 11:14:08
45206
3
原创 Java IO流
Java IO概要 Java.io包中5个核心类和一个重要接口，如下图 类 说明 File 文件类 InputStream 字节输入流 OutputStream 字节输出流 Reader 字符输入流 Writer 字符输出流 接口 Serializable 序列化...
2018-09-26 17:07:07
976
原创 java常用集合
首先请区分Collections ， 它只是集合操作的工具类。下面一张图展示常用List、Set 集合下面一张图展示常用Map集合族谱 常用集合随笔 List List之下需要注意的集合实现在ArrayList 、 LinkedLIst、Vector下的Stack。 存储元素的特点：有序可重复，有序即入和出顺序一致。...
2018-09-25 22:52:23
328
原创 String、StringBuffer、StringBuilder 区别
基本概述String是典型的Immutable类，这个在 final、finally、finalize 区别 中有提到过，类被声明为final、属性被声明为final，由于其不可变的性质，拼接、截取等动作，都会产生新的String对象。StringBuffer就是为了解决字符串拼接、截取造成的太多中间对象而提供的一个类，它是线程安全的可修改字符序列，但就是由于线程安全机制，导致额外的性...
2018-09-25 13:37:01
135
原创 final、finally、finalize 区别
一般性概述： fianl 修饰 类、方法、变量 ， 修饰类即此类不可继承扩展，修饰方法则此方法不可重写override，修饰变量即变量不可修改 finally 是java能保证重要代码一定要被执行的手段。一般try finally 或 try catch finally 联合使用，如进行连接释放、锁释放操作 finalized 保证对象在被垃圾回收之前，完成对特定资源的回...
2018-09-25 11:28:48
173
原创 hadoop 伪分布式搭建与测试
一、准备 linux 环境下 设置hostname sudo hostnamectl set-hostname hadoop0001 设置hosts vim /etc/hosts▽127.0.0.1 localhost ::1 localhost 192.168.1.103 hadoop0001 ...
2018-09-17 23:01:17
263
原创 分布式大数据迁移工具 （一）
一 、 背景介绍 ： P2P公司不断的发展，系统不断的迭代，业务越来越多，系统也越来越多，最终整个公司技术部分根据业务划分成：借款端、理财端、和移动端 ，目前公司的数据库也拆成了三大块，基于诸多历史原因，表结构不明确、各个端表设计冗余、数据冗余，为业务部门梳理公司业务和制作有效报表带来了极大的困难。 二 、 需求与设计： 基于之上的历史原因，公司要求创建一个数仓，...
2018-09-13 22:20:38
1246
原创 hadoop 集群搭建(二)
前边完成了基本的环境搭建 参考 ：hadoop 集群搭建(一)下面安装hadoop一 、解压tar -zxvf hadoop-2.6.0-5.7.0.tar.gzcdhadoop-2.6.0-5.7.0/etc/hadoopls -l二、配置首先配置core-site.xml <configuration> ...
2018-09-13 14:30:00
167
原创 hadoop 集群搭建(一)
一、 准备 虚拟机两台 Linux hadoop000 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux Linux hadoop001 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 ...
2018-09-12 21:44:46
180
原创 Storm实时处理框架（一）
一 、 是什么： twitter开源的，分布式、流式计算、容错的实时计算系统。 二、有撒用： 实时性场景 对于大量存在的实时数据，如股票，实效性强，量大，需在流数据不断变化过程中实时计算分析，把结果推给用户。 能提供 ：适应流式数据，不间断查询，稳定，可扩展性强、分布式计算、并行计算、热点数据缓存策略、服务端计算三、优点： ...
2018-09-12 10:19:21
1014
原创 hbase（一） 伪集群搭建
一句话介绍 hbase 高可靠、高性能、可伸缩、分布式 的列式存储型数据库。依赖： 环境 ： Jdk1.8 zookeeper 为hbase分布式存储协同服务 （伪分布式可暂不安装，hbase自带） 安装： 下载hbase： https://www.apache.org/dyn/closer....
2018-09-11 16:05:56
498
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人