- 博客(36)
- 收藏
- 关注
RSS订阅原创 Kudu入门和API基础操作
1.kudu的基本介绍2.kudu的架构3.java操作kudu表的增删改,以及表的分区4.spark操作kudu表的增删改,以及表的分区
2020-11-01 08:37:05
921
原创 docker系列(5)-Docker的镜像和私有仓库的搭建
docker系列(5)-Docker的镜像和私有仓库的搭建1. Docker镜像1.1 Docker镜像是什么镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于运行环境开发的软件，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量和配置文件。1.1.1 UnionFS（联合文件系统）UnionFS（联合文件系统）：Union文件系统（UnionFS）是一种分层、轻量级并且高性能的文件系统，它支持对文件系统的修改作为一次提交来一层层的叠加，同时可以将不同目录挂载到同一个
2020-10-31 09:01:57
360
原创 docker系列(4)-Docker的应用部署和迁移备份
docker系列(4)-Docker的应用部署和迁移备份1. Docker的应用部署总体步骤：搜索镜像拉取镜像查看镜像启动容器停止容器移除容器1.1 MySQL部署Docker hub上查找mysql镜像docker search mysql从docker hub上(阿里云加速器)拉取mysql镜像到本地标签为5.7docker pull centos/mysql-57-centos7创建容器docker run -di --name=tensqua
2020-10-31 09:01:10
332
原创 docker系列(3)-Docker的常用命令
docker系列(3)-Docker的常用命令1.帮助命令操作指令查看Docker版本docker version查看docker概要信息docker info查看docker帮助文档docker --help2. 镜像命令2.1 搜索镜像网站：https://hub.docker.com如果需要在网络中查找需要的镜像，可以通过以下命令搜索docker search 某个XXX镜像名字例如：要下载centos镜像docker s
2020-10-31 09:00:28
130
原创 docker系列(2)-Docker的安装和启动
docker系列(2)-Docker的安装和启动1. 安装DockerDocker官方建议在Ubuntu中安装，因为Docker是基于Unbantu发布的，而且一般Docker出现的问题Ubuntu是最先更新或者打补丁的，在很多版本的Centos中是不支持更新最新的一些补丁包的。由于我们学习的环境都使用的Centos，因此这里将Docker安装到Centos上，注意：建议安装在Centos7.x以上的版本，在Centos6.x的版本中，安装前需要安装其他很多的环境，而且Docker很多补丁不支持更新
2020-10-31 08:59:42
218
1
原创 docker系列(1)-初识Docker与容器
docker系列(1)-初识Docker与容器文章目录docker系列(1)-初识Docker与容器1. 为什么要使用Docker1.1 场景一1.2 场景二1.3 场景三2. 什么是虚拟化3. 初识Docker4. 容器与虚拟机的比较4.1 什么是虚拟机4.2 什么是容器4.3 小结5. Docker组件和架构5.1 Docker服务端和客户端5.2 Docker构架5.2.1 Docker镜像5.2.2 Docker容器5.2.3 Registy（注册中心）6. Docker
2020-10-31 08:58:55
502
1
转载 Spark性能优化（基础篇）之资源调优
Spark性能优化（基础篇）之资源调优1. 调优概述在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本.
2020-10-29 16:42:57
112
原创 Kafka高级(6)-Kafka配额限速机制
Kafka高级(6)-Kafka配额限速机制(Quotas)文章目录Kafka高级(6)-Kafka配额限速机制(Quotas)限制producer端速率限制consumer端速率取消Kafka的Quota配置生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。
2020-10-29 08:47:56
1496
原创 Kafka高级(5)-Kafka中数据清理
Kafka高级(5)-Kafka中数据清理(Log Deletion)文章目录Kafka高级(5)-Kafka中数据清理(Log Deletion)删除定时日志删除任务基于时间的保留策略设置topic 5秒删除一次基于日志大小的保留策略基于日志起始偏移量保留策略日志压缩Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式：日志删除（Log D
2020-10-29 08:46:53
1019
原创 Kafka高级(4)-kafka的原理
1. 分区的leader与follower2. Kafka生产、消费数据工作流程3. 消息不丢失机制4. Leader选举
2020-10-29 08:43:17
209
原创 Kafka高级(3)-监控工具Kafka-eagle介绍
Kafka高级(3)-监控工具Kafka-eagle介绍Kafka-Eagle简介在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Ma
2020-10-29 08:32:54
1139
原创 scala(9)-scala的类继承、抽象类、匿名内部类
文章目录scala(9)-scala的类继承、抽象类、匿名内部类继承概述语法类继承单例对象继承方法重写概述注意事项示例类型判断isInstanceOf, asInstanceOf案例getClass和classOf抽象类定义语法格式抽象方法案例抽象字段匿名内部类语法使用场景示例案例: 动物类需求目的步骤代码scala(9)-scala的类继承、抽象类、匿名内部类继承概述实际开发中, 我们发现好多类中的内容是相似的(例如: 相似的属性和行为), 每次写很麻烦. 于是我们可以把这些相似的内容提取出来单独
2020-09-19 17:48:32
636
原创 scala(8)-scala的类和伴生对象
文章目录scala(8)-scala的类和伴生对象类和对象相关概念创建类和对象示例步骤实现简写方式定义和访问成员变量用法示例使用下划线初始化成员变量用法示例定义和访问成员方法语法格式示例访问权限修饰符定义案例类的构造器分类主构造器辅助构造器**语法**示例单例对象定义单例对象**语法格式**示例在单例对象中定义方法main方法定义main方法继承App特质伴生对象定义伴生对象private[this]访问权限apply方法格式示例案例: 定义工具类概述示例scala(8)-scala的类和伴生对象类和对
2020-09-19 17:47:20
332
原创 scala(7)-scala的方法和函数
sscala(7)-scala的方法和函数方法概述实际开发中, 我们需要编写大量的逻辑代码, 这就势必会涉及到重复的需求. 例如: 求10和20的最大值, 求11和22的最大值, 像这样的需求, 用来进行比较的逻辑代码需要编写两次, 而如果把比较的逻辑代码放到方法中, 只需要编写一次就可以了, 这就是方法. scala中的方法和Java方法类似, 但scala与Java定义方法的语法是不一样的。语法格式def 方法名(参数名:参数类型, 参数名:参数类型) : [return type] = {
2020-09-19 17:44:49
638
原创 scala(6)-scala的流程控制和循环
scala(6)-scala的流程控制和循环流程控制结构概述在实际开发中, 我们要编写成千上万行代码, 代码的顺序不同, 执行结果肯定也会受到一些影响, 并且有些代码是满足特定条件才能执行的, 有些代码是要重复执行的. 那如何合理规划这些代码呢? 这就需要用到: 流程控制结构了.分类顺序结构选择（分支）结构循环结构注意: Scala和Java中的流程控制结构是基本一致的.顺序结构概述顺序结构是指: 程序是按照从上至下, 从左至右的顺序, 依次逐行执行的, 中间没有任
2020-09-19 17:41:36
403
原创 scala(5)-scala的运算符
文章目录sscala(5)-scala的运算符算术运算符运算符简介运算符的分类算术运算符代码示例赋值运算符概述分类关系运算符概述分类关系运算符延伸逻辑运算符概述分类位运算符铺垫知识关于进制关于8421码关于整数的原反补码计算规则概述分类案例: 交换两个变量的值需求sscala(5)-scala的运算符算术运算符运算符简介用来拼接变量或者常量的符号就叫: 运算符, 而通过运算符连接起来的式子就叫: 表达式. 实际开发中, 我们会经常用到它.例如:10 + 3 这个就是一个表达式, 而+号, 就是一
2020-09-19 17:38:33
1486
原创 scala(4)-scala的数据类型、类型转换、键盘输入
文章目录sscala(4)-scala的数据类型、类型转换、键盘输入数据类型与操作符数据类型scala类型层次结构类型转换概述自动类型转换强制类型转换值类型和String类型之间的相互转换值类型的数据转换成String类型String类型的数据转换成其对应的值类型键盘录入概述使用步骤示例sscala(4)-scala的数据类型、类型转换、键盘输入数据类型与操作符scala中的类型以及操作符绝大多数和Java一样，我们主要来学习与Java不一样的一些用法scala类型的继承体系数据类型
2020-09-19 17:37:39
1711
原创 scala(3)-scala的解释器和变量
文章目录scala(2)-scala的变量和字符串Scala程序和Java程序对比scala解释器启动scala解释器执行scala代码退出解释器声明变量语法格式val和var变量使用类型推断来定义变量惰性赋值字符串使用双引号使用插值表达式使用三引号scala(2)-scala的变量和字符串Scala程序和Java程序对比程序的执行流程对比Java程序编译执行流程Scala程序编译执行流程scala程序运行需要依赖于Java类库，必须要有Java运行环境，scala才能正确执行上图2者的区
2020-09-19 17:36:40
210
原创 scala(2)-scala开发环境的搭建
文章目录Scala(2)-scala的环境搭建概述安装JDK安装Scala SDK安装IDEA scala插件下载指定版本[IDEA scala插件](http://plugins.jetbrains.com/plugin/1347-scala)IDEA配置scala插件Scala(2)-scala的环境搭建概述scala程序运行需要依赖于Java类库，那么必须要有Java运行环境，scala才能正确执行. 所以要编译运行scala程序，需要:JDK（JDK包含JVM）Scala编译器（Sca
2020-09-19 17:34:43
164
原创 kafka入门(6)-kafka生产者幂等性与事务
kafka入门(6)-kafka生产者幂等性与事务幂等性简介拿http举例来说，一次或多次请求，得到地响应是一致的（网络超时等问题除外），换句话说，就是执行多次操作与执行一次操作的影响是一样的。如果，某个系统是不具备幂等性的，如果用户重复提交了某个表格，就可能会造成不良影响。例如：用户在浏览器上点击了多次提交订单按钮，会在后台生成多个一模一样的订单。Kafka生产者幂等性在生产者生产消息时，如果出现retry时，有可能会一条消息被发送了多次，如果Kafka不具备幂等性的，就有可能会在part
2020-09-16 19:57:08
274
原创 kafka入门(5)-kafka架构
kafka入门(5)-kafka架构Kafka重要概念broker一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能zookeeperZK用来管理和协调broker，并且存储了Kafka的元数据（例如：有多少topic、partition、consumer）ZK服务主要用
2020-09-16 19:56:28
90
原创 kafka入门(4)-java操作kafka
kafka入门(4)-java操作kafka准备工作创建maven工程导入Maven Kafka POM依赖<repositories><!-- 代码库 --> <repository> <id>central</id> <url>http://maven.aliyun.com/nexus/content/groups/public//</url> <re
2020-09-16 19:52:09
257
原创 kafka入门(3)-基础操作和基准测试
kafka入门(3)-基础操作和基准测试基础操作创建topic创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。# 创建名为test的主题bin/kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic test# 查看目前Kafka中的主题bin/kafka-topics.sh --list --bootstrap-server no
2020-09-16 19:50:51
315
原创 kafka入门（2）—— 环境搭建
kafka入门（2）—— 环境搭建搭建Kafka集群将Kafka的安装包上传到虚拟机，并解压tar -vxzf kafka_2.12-2.4.1.tgzcd kafka_2.12-2.4.1修改 server.properties#21行 指定broker的idbroker.id=0#60行 指定Kafka数据的位置log.dirs=/export/servers/kafka_2.12-2.4.1/data#123行 zookeeper集群地址zookeeper.connec
2020-09-16 19:49:48
343
原创 kafka入门（1）——简介
kafka入门（1）——简介消息队列简介什么是消息队列消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消息的队列。来看一下下面的代码：// 1. 创建一个保存字符串的队列Queue<String> stringQueue = new LinkedList<String>();// 2. 往消息队列中放入消息stringQueue.offer("hello");// 3. 从消息队列中取出消息并打印System.
2020-09-16 19:48:53
404
原创 HBase之Apache Phoenix的介绍和安装
Apache Phoenix的介绍和安装1 、 Phoenix介绍Phoenix官方网址：http://phoenix.apache.org/1.1、 简介Apache Phoenix让Hadoop中支持低延迟OLTP和业务操作分析。提供标准的SQL以及完备的ACID事务支持通过利用HBase作为存储，让NoSQL数据库具备通过有模式的方式读取数据，我们可以使用SQL语句来操作HBase，例如：创建表、以及插入数据、修改数据、删除数据等。Phoenix通过协处理器在服务器.
2020-09-11 16:10:05
965
1
原创 Hbase之陌陌海量存储案例
文章目录Hbase之陌陌海量存储案例1、案例介绍2、打招呼消息数据集介绍3、准备工作3.1 、创建IDEA Maven项目3.2、建表脚本3.3、导入POM依赖3.4、创建包结构3.5、导入ExcelReader工具类3.6、创建实体类4、编写数据生成器4.1、随机生成一条数据4.2、构建ROWKEY4.3、 数据写入HBase，生成10W条数据5、编写数据服务查询数据5.1、 需求5.2、 接口5.3、实现类5.3、测试Hbase之陌陌海量存储案例1、案例介绍在陌陌中，每天都有数千万的用户聊天消
2020-09-11 15:24:23
1800
1
原创 HBase的表结构设计
文章目录HBase的表结构设计1 名称空间1.1 说明1.2 语法2 列蔟设计3 版本设计4 数据压缩4.1 压缩算法4.2 查看表数据压缩方式4.3 设置数据压缩5 ROWKEY设计原则5.1 HBase官方的设计原则1. 避免使用递增行键/时序数据2. 避免ROWKEY和列的长度过大3. 使用long等类型比String类型更省空间4. ROWKEY唯一性5.2 避免数据热点1、 预分区2、 ROWKEY避免热点设计HBase的表结构设计1 名
2020-09-11 15:20:43
1521
原创 HBash之shell操作
文章目录1. 常用shell操作1.1 需求1.2 创建表1.2.1 启动HBase Shell1.2.1 创建表1.2.2 查看表1.2.3 删除表1.2.3.1 禁用表1.2.3.2 删除表1.2.3.3 删除ORDER_INFO表1.3 添加数据1.3.1 需求1.3.2 PUT操作1.4 查看添加的数据1.4.1 需求1.4.2 get命令1.4.3 查询指定订单ID的数据1.4.4 显示中文1.4.4.1 查看订单的数据1.5 删除操作1.5
2020-09-09 19:19:29
1277
原创 HBase的数据类型
HBase的数据类型1 简介在HBASE中，数据存储在具有行和列的表中。这是看起来关系数据库(RDBMS)一样，但将HBASE表看成是多个维度的Map结构更容易理解。ROWKEYC1列蔟C2列蔟rowkey列1列2列3列4列4列6rowkey0001C1（Map）列1 => 值1 列2 => 值2 列3 => 值3C2（Map）列4 => 值4 列5 => 值5 列6 => 值6
2020-09-08 23:44:13
12786
原创 Redis单机环境安装
Redis单机环境安装1 下载redis安装包下载redis安装包#创建两个目录mkdir -p /export/softwaremkdir -p /export/servercd /export/software#服务器执行以下命令下载redis安装包wget http://download.redis.io/releases/redis-3.2.8.tar.gz 2 解压redis压缩包到指定目录解压rediscd /export/software tar -zx
2020-09-06 17:17:49
178
原创 ElasticSearch之SpringDataElasticsearch操作
文章目录1. Spring Data ElasticSearch简介1.1 什么是Spring Data1.2 什么是SpringDataES2. 准备工作2.1 启动elasticsearch服务2.2 创建工程3. 索引库的操作3.1 创建实体类Goods3.2 创建删除索引库以及类型映射4. 使用ElasticsearchRepository对数据进行增删改4.1 新建 GoodRepository 接口4.2 创建单个文档4.3 批量创建文档4.4 修改和删除文档5 查询文档数据5.1. 根据id
2020-09-04 19:48:26
699
1
原创 ElasticSearch-05-文档操作
文章目录1、 新增并随机生成id2、查看文档3、新增文档并自定义id4、修改数据5、删除数据5.1 根据id进行删除5.2 根据查询条件进行删除5.3 删除所有数据文档，即索引库中某个类型下的数据，会根据规则创建索引，将来用来搜索。可以类比做数据库中的每一行数据。1、 新增并随机生成id通过POST请求，可以向一个已经存在的索引库中添加文档数据。语法POST /索引库名/类型名{ “key” : “value”}示例:post /test/goods{ "title" : "小
2020-09-04 00:20:40
101
原创 ElasticSearch-04-索引、类型、映射
文章目录1、简单介绍2、索引库的操作2.1 语法2.2 题目2.3 答案3、类型及映射操作3.2 创建映射字段3.2.1 语法3.2.2 示例3.2.3 映射属性详解3.2.3.1 type3.2.3.2 index3.2.3.3 store4、 查看映射关系4.1 语法4.2 示例4.3 响应5、一次性创建索引库和类型（常用）1、简单介绍Elasticsearch是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。对比关系：详细说明：概念说明索引库
2020-09-03 23:56:08
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人