排序:
默认
按更新时间
按访问量

Spring+SpringMVC+MyBatis框架原理及其使用 || SpringMvc篇

1.Springmvc是什么 Spring web mvc和Struts2都属于表现层的框架,它是Spring框架的一部分,我们可以从Spring的整体结构中看得出来 2.Springmvc处理流程 3.创建SpringMVC的核心配置文件 SpringMVC本身就是Spring的子项目,对Sp...

2018-11-12 18:04:15

阅读数:11

评论数:0

Spring+SpringMVC+MyBatis框架原理及其使用 || MyBatis篇

MyBatis简介: MyBatis是一个优秀的持久层框架,它对jdbc的操作数据库的过程进行封装,使开发者只需要关注 SQL 本身,而不需要花费精力去处理例如注册驱动、创建connection、创建statement、手动设置参数、结果集检索等jdbc繁杂的过程代码。 Mybatis通过...

2018-11-12 17:08:16

阅读数:15

评论数:0

Spring+SpringMVC+MyBatis框架原理及其使用 || Spring篇

EE 开发分成三层结构: WEB 层:Spring MVC. 业务层:Bean 管理:(IOC) 持久层:Spring 的 JDBC 模板.ORM Spring spring核心有两部分: (1)控制反转 ioc: 比如现在有普通类,在这个类里面有普通的方法,调用这个类里面的普通的方法,需...

2018-11-12 15:38:34

阅读数:20

评论数:0

使用SSM框架做项目,修改对象的信息,传不进去值(@ResponseBody和@RequestBody )

今天写信息更新,传入一个对象,明明赋值了,但是传不进去参数。 最后解决的办法是,在对象前面加一个@RequestBody注解,或者直接返回到前端页面,这时候什么也不用加就可以返回对象。 下面我说一下@RequestBody和@ResponseBody的区别 @ResponseBody @Res...

2018-11-08 14:37:15

阅读数:12

评论数:0

Redis数据库的特点和优点 || Rdis与MongoDB的对比

1.Redis的特点: (1)内存数据库,速度快,也支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 (2)Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。 (3)Redis支持数据的备份,即...

2018-10-21 10:49:25

阅读数:32

评论数:0

项目中为什么通常flume和kafka要共同使用

系统架构方面的考虑: (1)如果系统比较简单,应用场景比较单一,从简化系统的角度考虑,在满足应用需求的情况下可能只使用一个比较好。 (2)但是考虑到现有系统业务发展,为了后面的灵活扩展,在先用系统设计时留有一定的扩展性感觉更重要, (3)可能使用Flume+kafka架构相对只使用Kafka会多占...

2018-10-21 10:25:48

阅读数:86

评论数:0

大数据实战项目------中国移动运营分析实时监控平台 || 项目需求实现(文章最后有数据文件)

1.业务概况(显示总订单量、订单成功量、总金额、花费时间) 2.业务详细概述(每小时的充值订单量、每小时的充值成功订单量) 3.业务质量(每个省份的充值成功订单量) 4.实时统计每分钟的充值金额和订单量 下面是代码封装的包 项目需求实现: 1)用flume收集数据,放入到kafka,下面是详细...

2018-10-20 17:40:40

阅读数:3403

评论数:3

大数据实战项目------中国移动运营分析实时监控平台 || 项目背景

中国移动运营分析实时监控平台 项目背景 中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多. 目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一层的统计汇总,过程太过繁琐,且统计周期太长. 且充值过程中会涉及到中国...

2018-10-20 16:36:17

阅读数:3943

评论数:-1

flume学习随笔

2018-10-19 21:55:51

阅读数:32

评论数:0

redis学习随笔

2018-10-19 21:54:41

阅读数:31

评论数:0

Kafka原理

1.Kafka的拓扑结构 一个典型的 Kafka 集群中包含若干 Producer,若干 broker(Kafka 支持水平扩展, 一般 broker 数量越多,分区越多,集群吞吐率越高),若干 Consumer Group,以及一个 Zookeeper 集群。Kafka 通过 Zookeepe...

2018-10-10 22:16:42

阅读数:43

评论数:0

Kafka结构以及各个组件的形象理解以及内部执行机制

1.Apache Kafka 是分布式发布-订阅消息系统(消息中间件),是一种快速、可扩展、分区的和可复制的提交日志服务。 2.一个特别好的例子: 举个例子,生产者消费者,生产者生产鸡蛋,消费者消费鸡蛋,生产者生产一个鸡蛋, 消费者就消费一个鸡蛋,假设消费者消...

2018-10-09 18:25:45

阅读数:31

评论数:0

SparkStreaming窗口操作经典案例

1.背景描述 在社交网络(微博),电子商务(京东)、搜索引擎(百度)、股票交易中人们关心的内容之一是我所关注的内容中,大家正在关注什么 在实际企业中非常有价值 例如:我们关注过去30分钟大家都在热搜什么?并且每5分钟更新一次。要求列出来搜索前三名的话题内容 2.原理图 如图所示,每当窗口滑过D...

2018-10-08 20:37:50

阅读数:36

评论数:0

SparkStreaming内部结构以及经典案例与测试工具的使用--------updateSetBykey以及检查点的运用

1.SparkStreaming的内部结构,Spark Streaming将连续的数据流抽象为DStream。在内部,DStream 由一个RDD序列表示,然后将一个个RDD通过SparkEngine处理后输出。 -------------------------------开发自己的实时...

2018-10-08 20:22:47

阅读数:19

评论数:0

Spark经典案例(广播、自定义排序、缓冲)--------------根据需求进行日志的分析

数据的相关信息: 数据地址: 链接:https://pan.baidu.com/s/1kFCbYlpYW3xROAl9VvBlIg 密码:12tw ipAddress: String, // IP地址 ...

2018-09-28 15:05:43

阅读数:27

评论数:0

Spark缓冲、容错机制

一.缓冲 文件太大的时候,不会全部放到内存中,实际文件大小30M,放到内存中达到90M:因为写入的文件当中存放的是二进制,而读取到内存中以后,使用Java对象序列化方式 这种序列化会占用更大的空间,所以比实际大小要大 实际上不会将内存全部占用,要给程序运行留下足够的内存 注意: ...

2018-09-27 21:25:08

阅读数:22

评论数:0

Spark之广播变量详解------附加案例实现

1.广播变量的意义 当大数据进行业务处理的时候,所需要的数据存储在HDFS上,但是HDFS上的数据都是一块一块的,如果数据不完整的话就不能进行业务的正常处理,所以需要将数据全部集中起来,去通过广播,让所有进行处理的executors获得全部的数据。 2.下面一张高清大图说明广播的过程,Driver...

2018-09-27 11:22:15

阅读数:74

评论数:0

Spark中RDD启动方式、常用算子以及源码解析RDD属性

RDD简介 1.启动方式 2.常用算子 总结 1)简单算子 2)高级算子 3.源码解析RDD属性

2018-09-25 10:38:26

阅读数:22

评论数:0

WordCount在Spark的执行原理

1.首先看一下代码。 package day01 import org.apache.log4j.{Level, Logger} import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} ...

2018-09-23 11:31:07

阅读数:62

评论数:0

Spark数据过滤、自定义分区、Shuffer调优 经典案例(详解)

案例: 根据学科取得最受欢迎的老师的前两名 这个是数据 http://bigdata.edu360.cn/zhangsan http://bigdata.edu360.cn/zhangsan http://bigdata.edu360.cn/lisi http://bigdata.edu360.c...

2018-09-22 17:25:13

阅读数:73

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭