- 博客(28)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 kafka_day03
1. kafka内核原理1.1 ISR机制 光是依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？ 不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。 ISR是：in-sync replica，就是跟leader partition保持同步的follower partition的数量，只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的lea
2020-09-21 21:26:42
201
原创 kafk_day02
1. kafka分区策略kafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中1、指定具体的分区号//1、给定具体的分区号，数据就会写入到指定的分区中producer.send(new ProducerRecord<String, String>("test", 0,Integer.toString(i), "hello-kafka-"+i));2、不给定具体的分区号，给定key的值（key不断变化）//2、不给定具体的分区
2020-09-21 21:16:16
207
原创 kafka_day01
1. Kafka概述1.1 为什么有消息系统解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。冗余消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。扩展性因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。灵活性 &
2020-09-20 17:34:02
145
原创 集群各组件的开启与关闭
开启/export/servers/zookeeper-3.4.9/bin/zkServer.sh start 三台sbin/start-dfs.sh 第一台sbin/start-yarn.sh 第一台sbin/mr-jobhistory-daemon.sh start historyserver 第一台/etc/init.d/mysqld start 开启mysql 第三台bin/hive --service metastore &/bin/hive 第三台nohup bin.
2020-09-17 19:14:23
183
原创 Impala
1. Impala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具，impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具）当中的Dremel实现而来，其中旧三篇论文分别是（BigTable，GFS，MapReduce）分别对应我们即将学的HBase和已经学过的HDFS
2020-09-16 18:17:45
253
原创 hive的启动和关闭
1.关闭可以通过ps -ef|grep hive 来看hive 的端口号，然后kill 掉相关的进程。2.启动nohup hive --service metastore 2>&1 &用来启动metastorenohup hive --service hiveserver2 2>&1 &用来启动hiveserver2可以通过查看日志，来确认是否正常启动。注意！如果 hiveserver2 不启动，jdbc将无法正常连接...
2020-09-16 00:26:24
2179
原创 定时任务表达式
设置定时任务为每天凌晨2点执行和每小时执行一次每天凌晨2点 0 0 2 * * ?和每天隔一小时 0 * */1 * * ?例1：每隔5秒执行一次：*/5 * * * * ?例2：每隔5分执行一次：0 */5 * * * ?在26分、29分、33分执行一次：0 26,29,33 * * * ?例3：每天半夜12点30分执行一次：0 30 0 * * ? （注意日期域为0不是24）每天凌晨1点执行一次：0 0 1 * * ?每天上午10：15执行一次： 0 15 10 ? * * 或 0 15
2020-09-15 16:41:21
3318
1
原创 Azkaban各模式的启动和关闭
solo模式(第三台)bin/start-solo.sh 在/export/servers/azkaban/azkaban-solo-server-0.1.0-SNAPSHOT文件夹里开启tow-server模式(第二台)bin/start-exec.sh 在/export/servers/azkaban/azkaban-exec-server-0.1.0-SNAPSHOT目录下执行curl -G “node02:$(<./executor.port)/executor?action=a
2020-09-15 16:27:34
1711
原创 flume
概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据接受方，用于最终存储数据。一般的采集需求，通过对flum
2020-09-14 18:30:20
120
原创 hive
数据仓库-Hive1. 数据仓库1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以理解为：面向分析的存储系统。1.2. 主要特征数据仓库是面向主题的（Subject-Oriented ）、集成的（In
2020-09-11 21:18:35
126
原创 单例模式
单例模式懒汉模式public class Singleton{private Singleton (){}; private static Singleton singleton=null;public static Singleton getInstance(){ if(singleton==null){ singleton =new Singleton();} return singleton; }}恶汉模式public class Singleton{ priva
2020-09-03 20:40:57
54
原创 zookeeper
1 Zookeeper 的概述Zookeeper 是一个开源的分布式协调服务框架 ，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题2:Zookeeper的特点Zookeeper 本质上是一个分布式文件系统, 适合存放小文件，也可以理解为一个数据库,Zookeeper 中存储的其实是一个又一个 Znode, Znode 是 Zookeeper 中的节点Znode 是有路径的, 例如 /data/host1, /data/host2, 这个路径也可以理解为是 Znode 的
2020-09-03 20:04:33
122
原创 @RequestMapping和@GetMapping和PostMapping
@RequestMapping和@GetMapping和PostMapping简介@GetMapping是一个组合注解，是@RequestMapping(method =RequestMethod.GET)的缩写。该注解将HTTP Get 映射到 特定的处理方法上。同理PostMapping也是一个组合注解，是@RequestMapping(method =RequestMethod.POST)的缩写。特别说明，@RequestMapping如果没有指定请求方式，将接收Get、Post、He
2020-08-18 18:44:31
337
原创 RabbitMQ day1
一、消息队列MQ概述MQ全称为Message Queue，消息队列是应用程序和应用程序之间的通信方法。RabbitMQ是一个Erlang开发的AMQP（Advanced Message Queuing Protocol ）的开源实现。1.1 为什么使用MQ在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。开发中消息队列通常有如下应用场景：**(1) 异步提速: ** 任务异步处理将不需要同步处理的并
2020-08-14 19:20:43
214
原创 Elasticsearch day2
Spring Data ElasticSearch 使用1.1 Spring Data ElasticSearch简介1.1.1 什么是Spring DataSpring Data是一个用于简化持久层数据访问的开源框架。其主要目标是使得对数据的访问变得方便快捷。 Spring Data可以极大的简化数据操作的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。包括CRUD外，还包括如分页、排序等一些常用的功能，几乎可以节省持久层代码80%以上的编码工作量。Spring Data的官网：htt
2020-08-12 17:26:38
120
原创 Elasticsearch day1
第一章 Elasticsearch简介1.1 什么是ElasticsearchElaticsearch，简称为es， es是一个开源的==高扩展的分布式全文检索引擎==，它可以近乎实时的检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES使用Java开发。Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。第二章 相关软件的安装2.1 Elasticsearch安装1、下载ES压缩
2020-08-10 18:32:19
620
原创 SpringCloud day2
SpringCloud 总架构图一、远程调用 Spring Cloud Feign前面学习中，使用RestTemplate大大简化了远程调用的代码：String baseUrl = "http://user-service/user/findById?id=1"+ id;User user = restTemplate.getForObject(baseUrl, User.class)如果就学到这里，你可能以后需要编写类似的大量重复代码，格式基本相同，无非参数不一样。有没有更优雅的方式，来对
2020-08-09 18:30:21
343
原创 SpringCloud day1
一、系统架构演变之路(回顾)1.1 单一应用架构当网站流量很小时，只需要一个应用，所有功能部署在一起，减少部署节点成本的框架称之为集中式框架。此时，用于简化增删改查工作量的数据访问框架(ORM)是影响项目开发的关键。1.2 垂直应用架构当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。此时，用于加速前端页面开发的Web框架(MVC)是关键。1.3 分布式服务架构当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成
2020-08-07 20:32:49
206
原创 Docker
一、Docker简介1.1 虚拟化技术虚拟化技术是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。虚拟化技术主要作用：高性能的物理硬件产能过剩、软件跨环境迁移问题(代码的水土不服)1.2 什么是DockerDocker 是一个开源的应用容器引擎诞生于 2013 年初，基于 Go 语言实现， dotCloud 公司出品（后改名为Docker Inc）；Docker
2020-08-05 21:40:07
156
原创 解决IDEA控制台中文乱码
https://blog.csdn.net/Hyanl/article/details/104240263?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase
2020-07-14 18:08:25
91
原创 kaptcha验证码的生成
在applicationContext.xml中配置<!--配置kaptcha--> <bean id="kaptchaProducer" class="com.google.code.kaptcha.impl.DefaultKaptcha"> <property name="config"> <bean class="com.google.code.kaptcha.util.Config">
2020-07-12 16:37:47
69
原创 idea下创建web项目
1.建立一个Maven项目2.3.path 路径改为C:\Users\14148\Desktop\daima\imooc-oa\src\main\webapp\WEB-INF\web.xml版本改成3.15.6.7.
2020-07-06 20:51:24
131
原创 web应用打包(war 包)
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion&
2020-07-04 20:08:39
279
原创 maven 引入私服以及maven项目打包(jar包)
在pom.xml 文件中写入阿里云的私服repositories> <repository> <!-- 创建私服的地址 --> <id>aliyun</id> <name>aliyun</name> <url>https://maven.aliyun.com/repository/public</url> </repository> </r
2020-07-04 17:52:46
276
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人