qq_41166135的博客

原创 gitlabCI持续集成的总结（gitlab+gitlabCI）

1.首先安装一下gitlab，有详细亲测有效的教程：https://www.cnblogs.com/zhangycun/p/10963094.html2.安装gitlab Runner，有详细亲测有效的教程：https://blog.csdn.net/qq_27520051/article/details/805522203.个人总结：1.持续集成相关概念1.1 什么是持续集成持续集成是...

原创 SpringBoot+Shiro权限控制

最近一段时间刚好遇到了权限控制的问题，今天写一下自己的感悟与理解。 首先说一下什么是Shiro，ApacheShiro是一个功能强大、灵活的，开源的安全框架,它内部集成了很多安全机制，只需要我们配置，利用就好。下面说一下Shiro架构的三个主要的理念：Subject：当前用户，Subject 可以是一个人，但也可以是第三方服务、守护进程帐户、时钟守护任务或者其它–当前和...

原创 单点登录SSO+redis（有免费源码，新手使用）

最近在学习单点登录，真的是要被搞疯，想找一个源码使用一下，都是收费的，气的我花了时间自己写了一个。觉得不妥的下方评论咱们共同讨论。直接在后台操作，不用前台页面。1.首先说一下我理解的单点登录，在一个大的业务中，有很多个系统，客户在浏览同一家公司的不同系统时，只需要登录一次就够了。2.思路：进入自己想要访问的页面，系统会检查cookie里面是否存有用户的信息，有的话直接允许通过，cookie...

原创 在Idea里面用SSM注解写一个项目遇到的种种坑

首先分享一下搭建项目环境的网址：https://www.cnblogs.com/hackyo/p/6646051.html写代码的时候没有将前台页面一块写了，只是在一个叫做Restlet Client的工具里面输入网址进行调试1.在网址部署环境进行测试的时候，报一个404的错误tomcat报错404请注意。我用ieda创建玩项目，webapp下面是index.jsp。但是大神是index.h...

转载 Idea下的项目部署以及Web配置

https://blog.csdn.net/hi_boy_/article/details/78541957

原创 Spring+SpringMVC+MyBatis框架原理及其使用 || SpringMvc篇

1.Springmvc是什么Spring web mvc和Struts2都属于表现层的框架,它是Spring框架的一部分,我们可以从Spring的整体结构中看得出来2.Springmvc处理流程3.创建SpringMVC的核心配置文件SpringMVC本身就是Spring的子项目，对Spring兼容性很好，不需要做很多配置。这里只配置一个Controller扫描就可以了，让Spring...

原创 Spring+SpringMVC+MyBatis框架原理及其使用 || MyBatis篇

MyBatis简介：MyBatis是一个优秀的持久层框架，它对jdbc的操作数据库的过程进行封装，使开发者只需要关注 SQL 本身，而不需要花费精力去处理例如注册驱动、创建connection、创建statement、手动设置参数、结果集检索等jdbc繁杂的过程代码。 Mybatis通过xml或注解的方式将要执行的各种statement（statement、preparedStatemn...

原创 Spring+SpringMVC+MyBatis框架原理及其使用 || Spring篇

EE 开发分成三层结构:WEB 层:Spring MVC.业务层:Bean 管理:(IOC)持久层:Spring 的 JDBC 模板.ORMSpringspring核心有两部分：（1）控制反转 ioc：比如现在有普通类，在这个类里面有普通的方法，调用这个类里面的普通的方法，需要创建类对象，使用对象调用方法。创建类的对象，使用原始方式new对象。使用ioc实现对象创建，不需要...

原创 使用SSM框架做项目，修改对象的信息，传不进去值（@ResponseBody和@RequestBody ）

今天写信息更新，传入一个对象，明明赋值了，但是传不进去参数。最后解决的办法是，在对象前面加一个@RequestBody注解，或者直接返回到前端页面，这时候什么也不用加就可以返回对象。下面我说一下@RequestBody和@ResponseBody的区别@ResponseBody@Responsebody 注解表示该方法的返回的结果直接写入 HTTP 响应正文（ResponseBody）...

原创 Redis数据库的特点和优点 || Rdis与MongoDB的对比

1.Redis的特点：（1）内存数据库，速度快，也支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。（2）Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。（3）Redis支持数据的备份，即master-slave模式的数据备份。（4）支持事务2.Redis的优势：（1）性能极高 – ...

原创 项目中为什么通常flume和kafka要共同使用

系统架构方面的考虑：（1）如果系统比较简单，应用场景比较单一，从简化系统的角度考虑，在满足应用需求的情况下可能只使用一个比较好。（2）但是考虑到现有系统业务发展，为了后面的灵活扩展，在先用系统设计时留有一定的扩展性感觉更重要，(3)可能使用Flume+kafka架构相对只使用Kafka会多占用1-2台机器做Flume日志采集，但是为了方便以后日志数据处理方式的扩展，可以采用Flume+kaf...

原创 大数据实战项目------中国移动运营分析实时监控平台 || 项目需求实现（文章最后有数据文件）

1.业务概况（显示总订单量、订单成功量、总金额、花费时间）2.业务详细概述（每小时的充值订单量、每小时的充值成功订单量）3.业务质量（每个省份的充值成功订单量）4.实时统计每分钟的充值金额和订单量下面是代码封装的包项目需求实现：1）用flume收集数据，放入到kafka，下面是详细配置。2）用SparkStreaming去消费kafka里面的数据前，做一些Kafka参数的配置以...

原创 大数据实战项目------中国移动运营分析实时监控平台 || 项目背景

中国移动运营分析实时监控平台项目背景中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多.目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一层的统计汇总,过程太过繁琐,且统计周期太长. 且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用, 接口故障监控也成为了重点监控的内容之一.为此建设一个能够...

原创 flume学习随笔

原创 redis学习随笔

原创 Kafka原理

1.Kafka的拓扑结构一个典型的 Kafka 集群中包含若干 Producer，若干 broker（Kafka 支持水平扩展， 一般 broker 数量越多，分区越多，集群吞吐率越高），若干 Consumer Group，以及一个 Zookeeper 集群。Kafka 通过 Zookeeper 管理集群配置，选举 leader。Producer 使用 push 模式将消息发布到 broker...

原创 Kafka结构以及各个组件的形象理解以及内部执行机制

1.Apache Kafka 是分布式发布-订阅消息系统（消息中间件），是一种快速、可扩展、分区的和可复制的提交日志服务。2.一个特别好的例子：举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋， 消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生 产鸡蛋，那新生...

原创 SparkStreaming窗口操作经典案例

1.背景描述在社交网络（微博），电子商务（京东）、搜索引擎（百度）、股票交易中人们关心的内容之一是我所关注的内容中，大家正在关注什么在实际企业中非常有价值例如：我们关注过去30分钟大家都在热搜什么？并且每5分钟更新一次。要求列出来搜索前三名的话题内容2.原理图如图所示，每当窗口滑过DStream时，落在窗口内的源RDD被组合并被执行操作以产生windowed DStream的RDD。...

原创 SparkStreaming内部结构以及经典案例与测试工具的使用--------updateSetBykey以及检查点的运用

1.SparkStreaming的内部结构，Spark Streaming将连续的数据流抽象为DStream。在内部，DStream 由一个RDD序列表示，然后将一个个RDD通过SparkEngine处理后输出。-------------------------------开发自己的实时词频统计程序----------------------**特别需要注意的一个是虚拟机的核数最小是2...

原创 Spark经典案例（广播、自定义排序、缓冲）--------------根据需求进行日志的分析

数据的相关信息：数据地址：链接：https://pan.baidu.com/s/1kFCbYlpYW3xROAl9VvBlIg 密码：12tw ipAddress: String, // IP地址 clientId: String, // 客户端唯一标识符 ...

原创 Spark缓冲、容错机制

一.缓冲 文件太大的时候，不会全部放到内存中，实际文件大小30M，放到内存中达到90M：因为写入的文件当中存放的是二进制，而读取到内存中以后，使用Java对象序列化方式 这种序列化会占用更大的空间，所以比实际大小要大 实际上不会将内存全部占用，要给程序运行留下足够的内存 注意： cache可以提高程序运行速度，但是如果使用一次就没必要cache，常用于反复的使用 cache既不...

原创 Spark之广播变量详解------附加案例实现

1.广播变量的意义当大数据进行业务处理的时候，所需要的数据存储在HDFS上，但是HDFS上的数据都是一块一块的，如果数据不完整的话就不能进行业务的正常处理，所以需要将数据全部集中起来，去通过广播，让所有进行处理的executors获得全部的数据。2.下面一张高清大图说明广播的过程，Driver将数据collect到一起，然后将完整的数据分发到executors上,进行相应的处理 3.广播变...

原创 Spark中RDD启动方式、常用算子以及源码解析RDD属性

RDD简介1.启动方式2.常用算子总结1）简单算子2）高级算子3.源码解析RDD属性

原创 WordCount在Spark的执行原理

1.首先看一下代码。package day01import org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * 这是一个scala版本的Spark词频统计程序 * Created by zhan...

原创 Spark数据过滤、自定义分区、Shuffer调优 经典案例（详解）

案例：根据学科取得最受欢迎的老师的前两名这个是数据http://bigdata.edu360.cn/zhangsanhttp://bigdata.edu360.cn/zhangsanhttp://bigdata.edu360.cn/lisihttp://bigdata.edu360.cn/lisihttp://bigdata.edu360.cn/lisihttp://bigdata...

原创 Spark递交任务原理 || 经典案例深度分析--------------词频统计（多种语言）

Spark递交任务原理类似于Yarn调度任务的过程首先得客户端提交请求 核心是SparkContext,通过SparkContext递交客户端请求（请求的源文件信息（描述数据的数据），不是具体的jar文件）服务端接收客户端请求，分配资源给Worker将任务信息和资源分配给具体的Worker这...

原创 spark体系结构以及详细安装步骤和高可用的配置

1.Spark体系分为服务端和客户端（1）服务端分为主节点和从节点 1>主节点是master，相当于Resourcemanager，职责是管理和调度资源和任务、接受客户端任务请求，部署在其他服务上（standaalong、Yarn。。。） 2>从节点是worker，任务是从节点的资源和任务管...

原创 HDFS高可用（HA)机制

定义： 解决系统单点故障问题，防止一台nameNode挂了，就会出现数据丢失等问题。 原理： （1）将数据记载在Qjournal分布式日志管理系统里面，活跃的nameNode会定时将数据上传到Qjournal里面，Qjournal也会定期将数据放到另一台不活跃的NameNode里面跟新，定期进行数据的刷新这样就会防止丢失（也是定期刷新fsimage镜像文件）...

原创 scala的隐式转换 || 实例详解

定义： 当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。 隐式参数 （1）先看一下这个程序的运行结果object ImplicitParam {implicit val xxx = 777 def test(impli...

原创 柯里化详解-----------------Scala重点

定义： 柯里化是将方法或者函数中一个带有多个参数的列表拆分成多个小的参数列表（一个或者多个参数）的过程，并且将参数应用前面参数列表时返回新的函数（调用函数求值，求得的值是下一个函数的一个参数，将参数传递给下一个函数）典型实例//这是一个没有柯里化的方法 scala> def sum(x:Int, y:Int) = x+ y ...

原创 如何在github上发布代码并且创建分支

所有 1.初始化仓库 （1）新建项目 （init那个勾选上） 2.初始化项目 （1）创建一个描述信息的文件 touch README.md //里面填写描述信息 （2）创建一个忽略的文件 touch .gitignore //将本地的文件进行忽略，不会到github上 （3） git init /...

原创 scala中reduce函数原理解析------------------------------reduceLeft和reduceRight

看完图之后看具体实例 scala> val list = List(1,2,3,4,5) list: List[Int] = List(1, 2, 3, 4, 5) scala> list.reduce(_+_) res0: Int = 15 #这里0初始值，也是后面高阶函数的柯里化 sca...

原创 Scala经典案例-------------------------词频统计单机版和分布式实现

单机版scala> var arr = Array("Spark Hadopp Hive", "Hive Hbase", "Sqoop Redis Hadoop") arr: Array[String] = Array(Spark Hadopp Hive, Hive Hbase, Sqoop Redis Hadoop) ...

原创 scala难点----------------------------函数的参数求值策略、方法作为参数传递时自动做隐形转换

scala函数的参数：求值策略 1、call by value：对函数的实参求值，并只求值一次 举例：def test1(x:Int, y:Int):Int = x+x 没有用到y 2、call by name：函数的实参每次在函数体内部被调用的时候，都会进行求值 举例：def test2(x: => Int...

原创 scala 基础(2) -------------------------方法、函数、数组、集合、元组

方法和函数scala面向函数式编程（最有特色的一部分）-》将函数作为函数的参数传递过去 （*）方法和函数的区别 1.方法： 相对于OOP来说 类class 属性：名词 方法：...

原创 scala 基础 -------------------------变量的声明、条件表达式、块表达式、循环

变量的声明和使用  使用val和var申明变量例如：scala> val answer = 8 * 3 + 2可以在后续表达式中使用这些名称  val：value 简写，表示的意思为值，不可变 要申明其值可变的变量：val  var：variable 简写，表示的变量，可以改变值 要申明其值不可变的变量：...

原创 hbase rowkey 设计（避免热点问题） || 经典案例---------wordount结合HBase使用

热点问题： 热点发生在大量的客户端直接访问集群的一个或极少数节点。访问可以是读，写，或者其他操作。大量访问会使 热点region 所在的单个机器超出自身承受能力，引起性能下降甚至是 region 不可用。这也会影响同一个 regionserver 的其他 regions，由于主机无法服务其他region 的请求。设计良好的数据访问模式以使集群被充分，均衡的利用。这就涉及到了rowkey的...

原创 HBase原理、特性以及工作机制 || 与传统数据优劣对比

首先说一下hbase服务器只进行数据的增删改查，存储的话是在HDFS上 hbase角色： hbase上有两个角色region server———>进行数据的存储（一个服务器会管理几个region（区域））；master———–>管理region server,他们两是通过zookeeper管理的，region server实时上报zookeeper自己的信息、ma...

原创 HBase集群搭建（安装包在后面链接）以及常用操作（有详细说明）

安装篇1.上传hbase安装包（测试使用的是hbase1.2.6） 2.解压(tar -zxvf hbse…… -C /usr/local) 3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env....

原创 ZooKeeper典型案例-------------------分布式服务器上下线动态感知系统

分为服务器端和客户端，原理如下： 客户端： //1.连接zookeeper//2.查询在线服务器，并注册监听//3.挑选服务器请求业务服务器端：//1.获取zk连接//2.注册服务器信息//3.等待请求，处理业务 客户端：public class Consume { List<String> onlineServers; privat...