自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 SpringBoot项目配置文件密码加密(jasypt)

jasypt由于其使用的是PBEWithMD5AndDES加密方式,每次加密出来的结果都不一样,很适合对数据进行加密. 1、引入依赖 <!-- 数据库加密 --> <dependency> <groupId&a...

2019-03-05 18:09:24 563 0

原创 sudo命令详解

简单的说,sudo 是一种权限管理机制,管理员可以授权于一些普通用户去执行一些 root 执行的操作,而不需要知道 root 的密码。 严谨些说,sudo 允许一个已授权用户以超级用户或者其它用户的角色运行一个命令。当然,能做什么不能做什么都是通过安全策略来指定的。sudo 支持插件架构的安全策...

2019-02-19 09:48:16 8788 1

原创 SpringCloud-简介

1、SpringCloud是什么 SpringCloud是分布式微服务架构下的一站式解决方案,是各个微服务架构落地技术的几何体,俗称微服务全家桶。 - SpringCloud基于SpringBoot提供了一整套微服务的解决方案,包括服务注册与发现,配置中心,全链路监控,服务网关,负载均衡,熔断...

2019-02-01 08:33:24 147 0

原创 SpringCloud-微服务概念

1、什么是微服务 1) 对单一应用进行拆分 2) 每一个独立的应用都有一个独立的进程 3) 拥有自己独立的数据库 4) 微服务化的核心就是讲传统的一站式应用,根据业务拆分成一个一个的服务,彻底地去耦合,每一个微服务提供单个业务功能的服务,一个服务处理一件事,从技术角度就是一种小而独立的处理...

2019-02-01 08:33:15 264 0

原创 SpringCloud-学习大纲及常见面试题

1、前置知识 学习SpringCloud之前需要具备和掌握如下框架和工具的使用:SpringMVC,Spring,,Spring Boot,Mybatis,Maven,Git。 2、学习大纲 2.1 微服务概述 2.2 SpringCloud入门概述 2.3 Rest微服务构建案例工程模...

2019-02-01 08:33:01 1689 0

原创 Activiti-SpringBoot集成环境搭建

1、搭建环境 JDK1.8+SpingBoot+MyBatis+Activiti 2、搭建步骤(只介绍关键点,具体可下载资源中的代码) 1)pom.xml文件: 主要有效信息都在dependency中。其中spring-boot-starter为我们在SpringBoot下使用Acti...

2019-01-30 15:46:30 284 0

原创 开发规范-MySQL数据库

1、建表规约 1)表达是与否概念的字段,必须使用 is _ xxx 的方式命名,数据类型是 unsigned tinyint ( 1 表示是,0 表示否 ) 。 说明:任何字段如果为非负数,必须是 unsigned 。 正例:表达逻辑删除的字段名 is_deleted ,1 表示删除,0 表示未...

2019-01-30 09:57:41 93 0

原创 MongoDB-与SpringBoot整合及日志记录

1、依赖和配置 springboot项目中需要引入相关依赖: 数据库连接配置: 2、service接口及实现类 MongoTemplate是数据库和代码之间的接口,对数据库的操作都在它里面,MongoTemplate是线程安全的。 注:此处只写了一个创建方法,其他查询、删除等方法...

2019-01-25 15:25:10 1293 0

原创 单点登录-基于JWT机制的单点登录

1、认证过程 登录: 1)第一次认证:第一次登录,用户从浏览器输入用户名/密码,提交后到服务器的登录处理的Action层(Login Action); 2)Login Action调用认证服务进行用户名密码认证,如果认证通过,Login Action层调用用户信息服务获取用户信息(包括完...

2019-01-23 16:20:16 1767 0

原创 单点登录-简介及实现方式

1、单点登录简介 单点登录SSO(Single Sign On)说得简单点就是在一个多系统共存的环境下,用户在一处登录后,就不用在其他系统中登录,也就是用户的一次登录能得到其他所有系统的信任。单点登录在大型网站里使用得非常频繁,例如像阿里巴巴这样的网站,在网站的背后是成百上千的子系统,用户一次操...

2019-01-23 11:16:22 216 0

原创 Oozie-应用及案例

1、案例一:Oozie 调度 shell 脚本 目标:使用 Oozie 调度 Shell 脚本,分步实现: 1) 解压官方案例模板 2) 创建工作目录 3) 拷贝任务模板到 oozie-apps/目录 4) 随意编写一个脚本 p1.sh 5) 修改 job.prop...

2019-01-20 16:02:06 77 0

原创 Oozie-简介及部署

1、Oozie简介 1.1、Oozie简介 现实业务中处理数据时不可能只包含一个MR操作,一般都是多个MR,并且中间还可能包含多个Java或HDFS,甚至是shell的操作,利用Oozie可以完成这些任务。 实际上Oozie不是仅用来配置多个MR工作流的,它可以是各种程序夹杂在一起的工作流,...

2019-01-20 13:05:32 116 0

原创 HBase-常用Shell操作及数据备份恢复

1、常用的 Shell 操作 1) satus 例如:显示服务器状态: 2) whoami 例如,显示 HBase 当前用户: 3) list 显示当前所有的表: 4) count 例如,统计指定表的记录数: 5) describe 展示表结构信息: 6) e...

2019-01-11 15:36:21 196 0

原创 HBase-与Hive的区别、与Sqoop的集成

1、HBase 与 Hive 的对比 Hive: 1)、数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方 便使用 HQL 去管理查询。 2)、用于数据分析、清洗 Hive 适用于离线的数据分析和清洗,延迟较高。 3)、基于 H...

2019-01-10 16:58:25 381 0

原创 Navicat将sqlserver数据库导入mysql中

1、首先在mysql数据库中创建数据库并点击'导入向导' 点击下一步 点击... 点击下一步 输入sqlserver数据库连接信息,点击确定. 选择要导入的表,然后下一步 新建表名,然后下一步,下一步,开始导入成功 ...

2019-01-10 10:19:07 928 0

原创 HBase-读写流程及JavaAPI

1、读写流程 1.1、HBase 读数据流程 1) HRegionServer 保存着 meta 表以及表数据,要访问表数据,首先 Client 先去访问 zookeeper,从 zookeeper 里面获取 meta 表所在的位置信息,即找到这个 meta 表在哪个 HRegionServe...

2019-01-09 15:18:38 283 0

原创 HBase-部署及简单使用

1、HBase部署 1.1、Zookeeper 正常部署 首先保证 Zookeeper 集群的正常部署,并启动之: 1.2、Hadoop 正常部署 Hadoop 集群的正常部署并启动: 1.3、HBase 的解压 解压 HBase 到指定目录: 1.4、HBase 需...

2019-01-04 10:25:49 99 0

原创 HBase-简介及架构

1、简介 1.1、HBase简介 – HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库  – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeepe...

2019-01-04 10:25:11 3150 0

原创 Maven-私服Nexus的安装及使用

1、Nexus介绍 Nexus 是Maven仓库管理器,如果你使用Maven,你可以从Maven中央仓库 下载所需要的构件(artifact),但这通常不是一个好的做法,你应该在本地架设一个Maven仓库服务器,在代理远程仓库的同时维护本地仓库,以节省带宽和时间,Nexus就可以满足这样的需要。...

2018-12-29 09:46:53 86 1

原创 Kafka-工作流程分析及API实战

1、Kafka工作流程分析 1.1、Kafka生产过程分析 1)、写入方式: producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。 2)、分...

2018-12-26 19:59:16 161 0

原创 Kafka-概述和集群部署

1、Kafka概述 1.1、Kafka是什么 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka是一个分布式消息队列...

2018-12-26 19:59:05 355 0

原创 VirtualBox本地搭建多个虚拟机

1、准备安装软件 VirtualBox-5.1.26-117224-Win.exe centos7-atguigu.ova SecureCRT 8.1 2、导入一个虚拟机 安装VirtualBox后,管理->导入虚拟机电脑,如下图: 在虚拟机上右键点设置: 然后...

2018-12-20 17:42:22 966 0

原创 Zookeeper-实战

1、分布式安装部署 0)集群规划 在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。 1)解压安装 (1)解压 zookeeper 安装包到/opt/module/目录下: tar -zxvf zookeeper-3.4.10.tar...

2018-12-20 13:45:07 87 0

原创 Zookeeper-概述、安装及原理

1、Zookeeper 概述 1.1、概述 Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。 1.2、特点 1)Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群。 2)Leader 负责进行投票的发...

2018-12-20 13:44:47 112 0

原创 Flume-部署及使用案例

1、Flume 简介 1) Flume 提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务, Flume只能在Unix环境下运行。 2) Flume 基于流式架构,容错性强,也很灵活简单。 3) Flume、Kafka 用来实时进行数据收集,Spark、Storm 用来...

2018-12-19 10:48:25 99 0

原创 Oracle-Docker中使用Oracle XE

Oracle XE是Oracle公司提供的免费开发测试用途的数据库,可以自由使用,功能和使用与Oracle完全一致,但数据大小限制为4G。 1、安装oracle-xe 2、启动oracle-xe容器: 本容器提供如下安装信息: 3、system管理员登录后创建用户并授权: c...

2018-12-17 16:01:17 109 0

原创 Sqoop-常用命令及参数

1、Sqoop常用命令及参数 2、命令&参数详解 刚才列举了一些 Sqoop 的常用命令,对于不同的命令,有不同的参数,让我们来一一列举说明。 首先来我们来介绍一下公用的参数,所谓公用参数,就是大多数命令都支持的参数。 2.1、公用参数:数据库连接 2.2、公用参数...

2018-12-13 16:26:59 93 0

原创 Sqoop-简介及安装

1、Sqoop 简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7...

2018-12-13 16:26:47 237 0

原创 Hive-扩展项目Youtube

1、需求描述 统计 Youtube 视频网站的常规指标,各种 TopN 指标: --统计视频观看数 Top10 --统计视频类别热度 Top10 --统计视频观看数 Top20 所属类别包含这 Top20 视频的个数 --统计视频观看数 Top50 所关联视频的所属类别 Rank --...

2018-12-11 13:10:45 156 0

原创 Hive-企业级调优

1、Fetch 抓取 Fetch 抓取是指Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如: SELECT * FROM employees;在这种情况下,Hive 可以简单地读取 employee 对应的存储目录 下的文件,然后输出查询结果到控制台。 在 hive-d...

2018-12-05 15:03:52 115 0

原创 Hive-函数

1、系统自带的函数 1)查看系统自带的函数 2)显示自带的函数的用法 3)详细显示自带的函数的用法 2、自定义函数 1)Hive 自带了一些函数,比如:max/min 等,但是数量有限,自己可以通过自定义 UDF 来方便的扩展。 2)当 Hive 提供的内置函数无法满足你的...

2018-12-05 09:53:16 66 0

原创 Hive-查询

1、基本查询(Select…From) 1.1、基本查询 全表查询: hive (default)> select * from emp; 选择特定列查询: hive (default)> select empno, ename from emp; 列别名:hi...

2018-12-04 17:09:33 116 0

原创 Hive-DML数据操作

1、数据导入 1.1、向表中装载数据(Load) 1)、语法:hive>load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [parti...

2018-12-04 16:51:11 56 0

原创 Hive-DDL数据定义

1、创建数据库 1)创建一个数据库,数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 2)创建一个数据库,指定数据库在 HDFS 上存放的位置。 2、修改数据库 用户可以使用 ALTER DATABASE 命令为某个数据库的 DBPROPE...

2018-12-04 16:50:59 76 0

原创 Hive-数据类型

1、基本数据类型 注意:对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串, 不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数。 2、集合数据类型 Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUC...

2018-12-03 16:52:04 138 0

原创 Hive-安装环境准备

1、Hive 安装地址 1)Hive 官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址: http://archive....

2018-12-03 16:50:58 317 1

原创 Hive-基本概念

1、什么是 Hive Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。 本质是:将 HQL 转化成 MapReduce 程序 1)Hive 处理的数...

2018-12-03 16:49:50 86 0

原创 Hadoop-企业优化

1、MapReduce 跑的慢的原因 Mapreduce 程序效率的瓶颈在于两点: 1)计算机性能 CPU、内存、磁盘健康、网络 2)I/O 操作优化 (1)数据倾斜 (2)map 和 reduce 数设置不合理 (3)map 运行时间太长,导致 reduce 等待过久 (4)小文件过多...

2018-11-28 14:28:52 80 0

原创 Hadoop-Yarn

1、Hadoop1.x 和 Hadoop2.x 架构区别 在 Hadoop1.x 时代,Hadoop 中的 MapReduce 同时处理业务逻辑运算和资源的调度,耦 合性较大。在 Hadoop2.x 时代,增加了 Yarn。Yarn 只负责资源的调度,MapReduce 只负责运算。 2、Ya...

2018-11-28 14:28:44 78 0

原创 Hadoop-数据压缩

1、概述: 压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁 盘空间的效率。在 Hadoop 下,尤其是数据规模很大和工作负载密集的情况下,使用数据压缩显得非常重要。在这种情况下,I/O 操作和网络数据传输要花大量的时间。还有,Shuffle 与 Merge 过程同...

2018-11-28 14:28:36 57 0

提示
确定要删除当前文章?
取消 删除