- 博客(28)
- 资源 (5)
- 收藏
- 关注
原创 kafka_day03
1. kafka内核原理1.1 ISR机制 光是依靠多副本机制能保证Kafka的高可用性,但是能保证数据不丢失吗? 不行,因为如果leader宕机,但是leader的数据还没同步到follower上去,此时即使选举了follower作为新的leader,当时刚才的数据已经丢失了。 ISR是:in-sync replica,就是跟leader partition保持同步的follower partition的数量,只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的lea
2020-09-21 21:26:42
250
原创 kafk_day02
1. kafka分区策略kafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中1、指定具体的分区号//1、给定具体的分区号,数据就会写入到指定的分区中producer.send(new ProducerRecord<String, String>("test", 0,Integer.toString(i), "hello-kafka-"+i));2、不给定具体的分区号,给定key的值(key不断变化)//2、不给定具体的分区
2020-09-21 21:16:16
264
原创 kafka_day01
1. Kafka概述1.1 为什么有消息系统解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。冗余消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。扩展性因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。灵活性 &
2020-09-20 17:34:02
194
原创 集群各组件的开启与关闭
开启/export/servers/zookeeper-3.4.9/bin/zkServer.sh start 三台sbin/start-dfs.sh 第一台sbin/start-yarn.sh 第一台sbin/mr-jobhistory-daemon.sh start historyserver 第一台/etc/init.d/mysqld start 开启mysql 第三台bin/hive --service metastore &/bin/hive 第三台nohup bin.
2020-09-17 19:14:23
232
原创 Impala
1. Impala基本介绍impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具,impala是参照谷歌的新三篇论文(Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具)当中的Dremel实现而来,其中旧三篇论文分别是(BigTable,GFS,MapReduce)分别对应我们即将学的HBase和已经学过的HDFS
2020-09-16 18:17:45
284
原创 hive的启动和关闭
1.关闭可以通过ps -ef|grep hive 来看hive 的端口号,然后kill 掉相关的进程。2.启动nohup hive --service metastore 2>&1 &用来启动metastorenohup hive --service hiveserver2 2>&1 &用来启动hiveserver2可以通过查看日志,来确认是否正常启动。注意!如果 hiveserver2 不启动,jdbc将无法正常连接...
2020-09-16 00:26:24
2308
原创 定时任务表达式
设置定时任务为每天凌晨2点执行和每小时执行一次每天凌晨2点 0 0 2 * * ?和每天隔一小时 0 * */1 * * ?例1:每隔5秒执行一次:*/5 * * * * ?例2:每隔5分执行一次:0 */5 * * * ?在26分、29分、33分执行一次:0 26,29,33 * * * ?例3:每天半夜12点30分执行一次:0 30 0 * * ? (注意日期域为0不是24)每天凌晨1点执行一次:0 0 1 * * ?每天上午10:15执行一次: 0 15 10 ? * * 或 0 15
2020-09-15 16:41:21
3624
1
原创 Azkaban各模式的启动和关闭
solo模式(第三台)bin/start-solo.sh 在/export/servers/azkaban/azkaban-solo-server-0.1.0-SNAPSHOT文件夹里开启tow-server模式(第二台)bin/start-exec.sh 在/export/servers/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT目录下执行curl -G “node02:$(<./executor.port)/executor?action=a
2020-09-15 16:27:34
1858
原创 flume
概述Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume在删除自己缓存的数据。Flume支持定制各类数据发送方,用于收集各类型数据;同时,Flume支持定制各种数据接受方,用于最终存储数据。一般的采集需求,通过对flum
2020-09-14 18:30:20
180
原创 hive
数据仓库-Hive1. 数据仓库1.1. 基本概念英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。数据仓库是存数据的,企业的各种数据往里面存,主要目的是为了分析有效数据,后续会基于它产出供分析挖掘的数据,或者数据应用需要的数据,如企业的分析性报告和各类报表等。可以理解为:面向分析的存储系统。1.2. 主要特征数据仓库是面向主题的(Subject-Oriented )、集成的(In
2020-09-11 21:18:35
145
原创 单例模式
单例模式懒汉模式public class Singleton{private Singleton (){}; private static Singleton singleton=null;public static Singleton getInstance(){ if(singleton==null){ singleton =new Singleton();} return singleton; }}恶汉模式public class Singleton{ priva
2020-09-03 20:40:57
65
原创 zookeeper
1 Zookeeper 的概述Zookeeper 是一个开源的分布式协调服务框架 ,主要用来解决分布式集群中应用系统的一致性问题和数据管理问题2:Zookeeper的特点Zookeeper 本质上是一个分布式文件系统, 适合存放小文件,也可以理解为一个数据库,Zookeeper 中存储的其实是一个又一个 Znode, Znode 是 Zookeeper 中的节点Znode 是有路径的, 例如 /data/host1, /data/host2, 这个路径也可以理解为是 Znode 的
2020-09-03 20:04:33
139
原创 @RequestMapping和@GetMapping和PostMapping
@RequestMapping和@GetMapping和PostMapping简介@GetMapping是一个组合注解,是@RequestMapping(method =RequestMethod.GET)的缩写。该注解将HTTP Get 映射到 特定的处理方法上。同理PostMapping也是一个组合注解,是@RequestMapping(method =RequestMethod.POST)的缩写。特别说明,@RequestMapping如果没有指定请求方式,将接收Get、Post、He
2020-08-18 18:44:31
366
原创 RabbitMQ day1
一、消息队列MQ概述MQ全称为Message Queue,消息队列是应用程序和应用程序之间的通信方法。RabbitMQ是一个Erlang开发的AMQP(Advanced Message Queuing Protocol )的开源实现。1.1 为什么使用MQ在项目中,可将一些无需即时返回且耗时的操作提取出来,进行异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量。开发中消息队列通常有如下应用场景:**(1) 异步提速: ** 任务异步处理将不需要同步处理的并
2020-08-14 19:20:43
248
原创 Elasticsearch day2
Spring Data ElasticSearch 使用1.1 Spring Data ElasticSearch简介1.1.1 什么是Spring DataSpring Data是一个用于简化持久层数据访问的开源框架。其主要目标是使得对数据的访问变得方便快捷。 Spring Data可以极大的简化数据操作的写法,可以在几乎不用写实现的情况下,实现对数据的访问和操作。包括CRUD外,还包括如分页、排序等一些常用的功能,几乎可以节省持久层代码80%以上的编码工作量。Spring Data的官网:htt
2020-08-12 17:26:38
133
原创 Elasticsearch day1
第一章 Elasticsearch简介1.1 什么是ElasticsearchElaticsearch,简称为es, es是一个开源的==高扩展的分布式全文检索引擎==,它可以近乎实时的检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。ES使用Java开发。Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。第二章 相关软件的安装2.1 Elasticsearch安装1、下载ES压缩
2020-08-10 18:32:19
705
原创 SpringCloud day2
SpringCloud 总架构图一、远程调用 Spring Cloud Feign前面学习中,使用RestTemplate大大简化了远程调用的代码:String baseUrl = "http://user-service/user/findById?id=1"+ id;User user = restTemplate.getForObject(baseUrl, User.class)如果就学到这里,你可能以后需要编写类似的大量重复代码,格式基本相同,无非参数不一样。有没有更优雅的方式,来对
2020-08-09 18:30:21
417
原创 SpringCloud day1
一、系统架构演变之路(回顾)1.1 单一应用架构当网站流量很小时,只需要一个应用,所有功能部署在一起,减少部署节点成本的框架称之为集中式框架。此时,用于简化增删改查工作量的数据访问框架(ORM)是影响项目开发的关键。1.2 垂直应用架构当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率。此时,用于加速前端页面开发的Web框架(MVC)是关键。1.3 分布式服务架构当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成
2020-08-07 20:32:49
235
原创 Docker
一、Docker简介1.1 虚拟化技术虚拟化技术是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的方式来应用这些资源。虚拟化技术主要作用:高性能的物理硬件产能过剩、软件跨环境迁移问题(代码的水土不服)1.2 什么是DockerDocker 是一个开源的应用容器引擎诞生于 2013 年初,基于 Go 语言实现, dotCloud 公司出品(后改名为Docker Inc);Docker
2020-08-05 21:40:07
194
原创 解决IDEA控制台中文乱码
https://blog.csdn.net/Hyanl/article/details/104240263?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase
2020-07-14 18:08:25
122
原创 kaptcha验证码的生成
在applicationContext.xml中配置<!--配置kaptcha--> <bean id="kaptchaProducer" class="com.google.code.kaptcha.impl.DefaultKaptcha"> <property name="config"> <bean class="com.google.code.kaptcha.util.Config">
2020-07-12 16:37:47
83
原创 idea下创建web项目
1.建立一个Maven项目2.3.path 路径改为C:\Users\14148\Desktop\daima\imooc-oa\src\main\webapp\WEB-INF\web.xml版本改成3.15.6.7.
2020-07-06 20:51:24
148
原创 web应用打包(war 包)
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion&
2020-07-04 20:08:39
294
原创 maven 引入私服以及maven项目打包(jar包)
在pom.xml 文件中写入阿里云的私服repositories> <repository> <!-- 创建私服的地址 --> <id>aliyun</id> <name>aliyun</name> <url>https://maven.aliyun.com/repository/public</url> </repository> </r
2020-07-04 17:52:46
300
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人