自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

liberty12345678的专栏

我的工作总结

  • 博客(178)
  • 资源 (5)
  • 收藏
  • 关注

转载 springSecurity结合使用实现redis管理session

1. pom.xml添加springsession的依赖:<span style="color:#000000"><code><dependency> <groupId>org.springframework.session</groupId> <artifactId>spring-session-data-redis</artifactId> <version>${spring

2020-09-11 15:59:21 2973

原创 SpringBoot项目配置文件密码加密(jasypt)

jasypt由于其使用的是PBEWithMD5AndDES加密方式,每次加密出来的结果都不一样,很适合对数据进行加密.1、引入依赖&lt;!-- 数据库加密 --&gt;&lt;dependency&gt; &lt;groupId&gt;com.github.ulisesbocchio&lt;/groupId&gt; &lt;artifactId&gt;jasy...

2019-03-05 18:09:24 1937

原创 sudo命令详解

简单的说,sudo 是一种权限管理机制,管理员可以授权于一些普通用户去执行一些 root 执行的操作,而不需要知道 root 的密码。严谨些说,sudo 允许一个已授权用户以超级用户或者其它用户的角色运行一个命令。当然,能做什么不能做什么都是通过安全策略来指定的。sudo 支持插件架构的安全策略,并能把输入输出写入日志。第三方可以开发并发布自己的安全策略和输入输出日志插件,并让它们无缝的和 s...

2019-02-19 09:48:16 83404 2

原创 SpringCloud-简介

1、SpringCloud是什么SpringCloud是分布式微服务架构下的一站式解决方案,是各个微服务架构落地技术的几何体,俗称微服务全家桶。- SpringCloud基于SpringBoot提供了一整套微服务的解决方案,包括服务注册与发现,配置中心,全链路监控,服务网关,负载均衡,熔断器等组件,除了基于Netflix的开源组件做高度抽象封装之外,还有一些选型中立的开源组件- Spri...

2019-02-01 08:33:24 337

原创 SpringCloud-微服务概念

1、什么是微服务1) 对单一应用进行拆分2) 每一个独立的应用都有一个独立的进程3) 拥有自己独立的数据库4) 微服务化的核心就是讲传统的一站式应用,根据业务拆分成一个一个的服务,彻底地去耦合,每一个微服务提供单个业务功能的服务,一个服务处理一件事,从技术角度就是一种小而独立的处理过程,类似进程的概念,能够自行单独启动或销毁,拥有自己的数据库。2、微服务与微服务架构微服务:...

2019-02-01 08:33:15 394

原创 SpringCloud-学习大纲及常见面试题

1、前置知识学习SpringCloud之前需要具备和掌握如下框架和工具的使用:SpringMVC,Spring,,Spring Boot,Mybatis,Maven,Git。2、学习大纲2.1 微服务概述2.2 SpringCloud入门概述2.3 Rest微服务构建案例工程模块2.4 Eureka服务注册与发现2.5 Ribbon负载均衡2.6 Feign负载均衡...

2019-02-01 08:33:01 1874

原创 Activiti-SpringBoot集成环境搭建

1、搭建环境JDK1.8+SpingBoot+MyBatis+Activiti2、搭建步骤(只介绍关键点,具体可下载资源中的代码)1)pom.xml文件:主要有效信息都在dependency中。其中spring-boot-starter为我们在SpringBoot下使用Activiti做了以下这样的配置:自动创建Activiti ProcessEngine的Bean 所有...

2019-01-30 15:46:30 948

原创 开发规范-MySQL数据库

1、建表规约1)表达是与否概念的字段,必须使用 is _ xxx 的方式命名,数据类型是 unsigned tinyint( 1 表示是,0 表示否 ) 。说明:任何字段如果为非负数,必须是 unsigned 。正例:表达逻辑删除的字段名 is_deleted ,1 表示删除,0 表示未删除2)表名、字段名必须使用小写字母或数字 , 禁止出现数字开头,禁止两个下划线中间只出现数字。...

2019-01-30 09:57:41 317

原创 MongoDB-与SpringBoot整合及日志记录

1、依赖和配置springboot项目中需要引入相关依赖:数据库连接配置:2、service接口及实现类MongoTemplate是数据库和代码之间的接口,对数据库的操作都在它里面,MongoTemplate是线程安全的。注:此处只写了一个创建方法,其他查询、删除等方法请自行脑补.SysLogService.java接口:SysLogServiceImpl....

2019-01-25 15:25:10 3968

原创 单点登录-基于JWT机制的单点登录

1、认证过程登录:1)第一次认证:第一次登录,用户从浏览器输入用户名/密码,提交后到服务器的登录处理的Action层(Login Action);2)Login Action调用认证服务进行用户名密码认证,如果认证通过,Login Action层调用用户信息服务获取用户信息(包括完整的用户信息及对应权限信息);3)返回用户信息后,Login Action从配置文件中获取Toke...

2019-01-23 16:20:16 3708

原创 单点登录-简介及实现方式

1、单点登录简介单点登录SSO(Single Sign On)说得简单点就是在一个多系统共存的环境下,用户在一处登录后,就不用在其他系统中登录,也就是用户的一次登录能得到其他所有系统的信任。单点登录在大型网站里使用得非常频繁,例如像阿里巴巴这样的网站,在网站的背后是成百上千的子系统,用户一次操作或交易可能涉及到几十个子系统的协作,如果每个子系统都需要用户认证,不仅用户会疯掉,各子系统也会为这种...

2019-01-23 11:16:22 674

原创 Oozie-应用及案例

1、案例一:Oozie 调度 shell 脚本目标:使用 Oozie 调度 Shell 脚本,分步实现:1) 解压官方案例模板2) 创建工作目录3) 拷贝任务模板到 oozie-apps/目录4) 随意编写一个脚本 p1.sh5) 修改 job.properties 和 workflow.xml 文件job.propertiesworkflo...

2019-01-20 16:02:06 219

原创 Oozie-简介及部署

1、Oozie简介1.1、Oozie简介现实业务中处理数据时不可能只包含一个MR操作,一般都是多个MR,并且中间还可能包含多个Java或HDFS,甚至是shell的操作,利用Oozie可以完成这些任务。实际上Oozie不是仅用来配置多个MR工作流的,它可以是各种程序夹杂在一起的工作流,比如执行一个MR1后,接着执行一个java脚本,再执行一个shell脚本,接着是Hive脚本,然后又是...

2019-01-20 13:05:32 594

原创 HBase-常用Shell操作及数据备份恢复

1、常用的 Shell 操作1) satus例如:显示服务器状态:2) whoami例如,显示 HBase 当前用户:3) list显示当前所有的表:4) count例如,统计指定表的记录数:5) describe展示表结构信息:6) exists检查表是否存在,适用于表量特别多的情况:7) is_enabled/is_dis...

2019-01-11 15:36:21 529

原创 HBase-与Hive的区别、与Sqoop的集成

1、HBase 与 Hive 的对比Hive:1)、数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方 便使用 HQL 去管理查询。2)、用于数据分析、清洗Hive 适用于离线的数据分析和清洗,延迟较高。3)、基于 HDFS、MapReduceHive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终...

2019-01-10 16:58:25 994

原创 Navicat将sqlserver数据库导入mysql中

1、首先在mysql数据库中创建数据库并点击'导入向导'点击下一步点击...点击下一步输入sqlserver数据库连接信息,点击确定.选择要导入的表,然后下一步新建表名,然后下一步,下一步,开始导入成功...

2019-01-10 10:19:07 2057

原创 HBase-读写流程及JavaAPI

1、读写流程1.1、HBase 读数据流程1) HRegionServer 保存着 meta 表以及表数据,要访问表数据,首先 Client 先去访问 zookeeper,从 zookeeper 里面获取 meta 表所在的位置信息,即找到这个 meta 表在哪个 HRegionServer 上保存着。2) 接着 Client 通过刚才获取到的 HRegionServer 的 IP 来...

2019-01-09 15:18:38 761

原创 HBase-部署及简单使用

1、HBase部署1.1、Zookeeper 正常部署首先保证 Zookeeper 集群的正常部署,并启动之:1.2、Hadoop 正常部署Hadoop 集群的正常部署并启动:1.3、HBase 的解压解压 HBase 到指定目录:1.4、HBase 需要依赖的 Jar 包 由于 HBase 需要依赖 Hadoop,所以替换 HBase 的 li...

2019-01-04 10:25:49 222

原创 HBase-简介及架构

1、简介1.1、HBase简介– HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务– 主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)...

2019-01-04 10:25:11 3298

原创 Maven-私服Nexus的安装及使用

1、Nexus介绍Nexus 是Maven仓库管理器,如果你使用Maven,你可以从Maven中央仓库 下载所需要的构件(artifact),但这通常不是一个好的做法,你应该在本地架设一个Maven仓库服务器,在代理远程仓库的同时维护本地仓库,以节省带宽和时间,Nexus就可以满足这样的需要。此外,他还提供了强大的仓库管理功能,构件搜索功能,它基于REST,友好的UI是一个extjs的REST...

2018-12-29 09:46:53 207 1

原创 Kafka-工作流程分析及API实战

1、Kafka工作流程分析1.1、Kafka生产过程分析1)、写入方式:producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。2)、分区(Partition)Kafka集群有多个消息代理服务器(broker-server)组成,发布...

2018-12-26 19:59:16 323

原创 Kafka-概述和集群部署

1、Kafka概述1.1、Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2)Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Cons...

2018-12-26 19:59:05 497

原创 VirtualBox本地搭建多个虚拟机

1、准备安装软件VirtualBox-5.1.26-117224-Win.execentos7-atguigu.ovaSecureCRT 8.12、导入一个虚拟机安装VirtualBox后,管理-&gt;导入虚拟机电脑,如下图:在虚拟机上右键点设置:然后正常启动虚拟机:root/1234563、复制多台虚拟机在虚拟机上右键点复制,如下图:重复以上...

2018-12-20 17:42:22 3149

原创 Zookeeper-实战

1、分布式安装部署0)集群规划在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。1)解压安装(1)解压 zookeeper 安装包到/opt/module/目录下:tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/(2)在/opt/module/zookeeper-3.4....

2018-12-20 13:45:07 172

原创 Zookeeper-概述、安装及原理

1、Zookeeper 概述1.1、概述Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。1.2、特点1)Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。2)Leader 负责进行投票的发起和决议,更新系统状态。3)Follower 用于接收客户请求并向客户端返回结果,在选举 Lead...

2018-12-20 13:44:47 242

原创 Flume-部署及使用案例

1、Flume 简介1) Flume 提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务, Flume只能在Unix环境下运行。2) Flume 基于流式架构,容错性强,也很灵活简单。3) Flume、Kafka 用来实时进行数据收集,Spark、Storm 用来实时处理数据,impala 用来实 时查询。2、Flume 角色Flume的一些核心概念:...

2018-12-19 10:48:25 268

原创 Oracle-Docker中使用Oracle XE

Oracle XE是Oracle公司提供的免费开发测试用途的数据库,可以自由使用,功能和使用与Oracle完全一致,但数据大小限制为4G。1、安装oracle-xe2、启动oracle-xe容器:本容器提供如下安装信息:3、system管理员登录后创建用户并授权:create user test identified by test;grant connect,...

2018-12-17 16:01:17 224

原创 Sqoop-常用命令及参数

1、Sqoop常用命令及参数2、命令&amp;参数详解刚才列举了一些 Sqoop 的常用命令,对于不同的命令,有不同的参数,让我们来一一列举说明。 首先来我们来介绍一下公用的参数,所谓公用参数,就是大多数命令都支持的参数。2.1、公用参数:数据库连接2.2、公用参数:import2.3、公用参数:export2.4、公用参数:hive命令对应...

2018-12-13 16:26:59 225

原创 Sqoop-简介及安装

1、Sqoop 简介Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。Sqoop(SQL-to-Hadoop)是一个在结构化数据和Hadoop之间进行批量数据迁移的工...

2018-12-13 16:26:47 419

原创 Hive-扩展项目Youtube

1、需求描述统计 Youtube 视频网站的常规指标,各种 TopN 指标:--统计视频观看数 Top10--统计视频类别热度 Top10--统计视频观看数 Top20 所属类别包含这 Top20 视频的个数--统计视频观看数 Top50 所关联视频的所属类别 Rank--统计每个类别中的视频热度 Top10--统计每个类别中视频流量 Top10--统计上传视频最多...

2018-12-11 13:10:45 6366

原创 Hive-企业级调优

1、Fetch 抓取Fetch 抓取是指Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如: SELECT * FROM employees;在这种情况下,Hive 可以简单地读取 employee 对应的存储目录 下的文件,然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetch.task.conversion ...

2018-12-05 15:03:52 291

原创 Hive-函数

1、系统自带的函数1)查看系统自带的函数2)显示自带的函数的用法3)详细显示自带的函数的用法2、自定义函数1)Hive 自带了一些函数,比如:max/min 等,但是数量有限,自己可以通过自定义 UDF 来方便的扩展。2)当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义 函数(UDF:user-defined function...

2018-12-05 09:53:16 147

原创 Hive-查询

1、基本查询(Select…From)1.1、基本查询全表查询: hive (default)&gt; select * from emp;选择特定列查询: hive (default)&gt; select empno, ename from emp;列别名:hive (default)&gt; select ename AS name, deptno dn from emp;...

2018-12-04 17:09:33 251

原创 Hive-DML数据操作

1、数据导入1.1、向表中装载数据(Load)1)、语法:hive&gt;load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];(1)load data:表示加载数据(2)local:表示从本地加载数据...

2018-12-04 16:51:11 163

原创 Hive-DDL数据定义

1、创建数据库1)创建一个数据库,数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。2)创建一个数据库,指定数据库在 HDFS 上存放的位置。2、修改数据库用户可以使用 ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键-值对 属性值,来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的,包...

2018-12-04 16:50:59 190

原创 Hive-数据类型

1、基本数据类型注意:对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串, 不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数。2、集合数据类型Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中 的 Array 和 Map 类似,而 STRUCT 与 ...

2018-12-03 16:52:04 264

原创 Hive-安装环境准备

1、Hive 安装地址1)Hive 官网地址: http://hive.apache.org/2)文档查看地址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted3)下载地址: http://archive.apache.org/dist/hive/4)github 地址: https://github....

2018-12-03 16:50:58 902 1

原创 Hive-基本概念

1、什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。本质是:将 HQL 转化成 MapReduce 程序1)Hive 处理的数据存储在 HDFS2)Hive 分析数据底层的实现是 MapReduce3)执行程序运行在 Y...

2018-12-03 16:49:50 182

原创 Hadoop-企业优化

1、MapReduce 跑的慢的原因Mapreduce 程序效率的瓶颈在于两点:1)计算机性能CPU、内存、磁盘健康、网络2)I/O 操作优化(1)数据倾斜 (2)map 和 reduce 数设置不合理 (3)map 运行时间太长,导致 reduce 等待过久 (4)小文件过多 (5)大量的不可分块的超大文件(6)spill 次数过多 (7)merge 次数过多等。2、Ma...

2018-11-28 14:28:52 173

原创 Hadoop-Yarn

1、Hadoop1.x 和 Hadoop2.x 架构区别在 Hadoop1.x 时代,Hadoop 中的 MapReduce 同时处理业务逻辑运算和资源的调度,耦 合性较大。在 Hadoop2.x 时代,增加了 Yarn。Yarn 只负责资源的调度,MapReduce 只负责运算。2、Yarn 概述Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式 的操作...

2018-11-28 14:28:44 267

activiti整合ssh

activiti整合ssh,参考文档,有需要做工作流开发的朋友可以下载。

2019-02-19

Activiti-SpringBoot集成环境搭建

验证通过的springboot+mybatis+activiti集成,大伙快来下载吧

2019-01-30

大数据-hadoop-mapreduce代码

博客中的大数据-hadoop的mapreduce相关代码,需要的朋友下吧

2018-11-28

消息100%可靠性投递-SpringBoot2.x+定时任务实现-源码

消息100%可靠性投递-SpringBoot2.x+定时任务实现-源码

2018-09-08

struts2+hibernate+spring

struts2+hibernate+spring

2012-11-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除