qq_41369191的博客

目录前提依赖环境集群规划安装依赖的Hbase1.1.1Kylin安装部署 前提 1.安装启动Hadoop2.安装启动zookeeper3.安装spark 依赖环境 软件 版本 Apache hbase-1.1.1-bin.tar.gz 1.1.1 spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz 2.2.0-bin-cd.

目录介绍使用场景好处Kylin的总体架构 介绍 Kylin-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目Kylin的定位：对数据进行预计算/预处理，主要出现在辅助Hive组件（查询效率比较慢），提高查询效率。Hive的性能比较慢，支持SQLHBase的性能快，原生不支持SQLKylin是将先将数据进行预处理，将预处理的结果放在HBase中。效率很高（将hive和hbase两个技术的优点结合到一起）...

目录介绍FIFO SchedulerCapacity SchedulerFair Scheduler总结 介绍 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。在Yarn

队列比例 root├── prod 生产环境 40 %└── dev 开发环境 60 %├── mapreduceMR开发 50% └── spark Spark开发 50% 修改capacity-scheduler.xml配置文件 <configuration> <property> <name>yarn.scheduler.capacity.root.qu...

目录添加如下属性到yarn-site.xml添加配置文件fair-scheduler.xml将新的配置同步到集群所有节点,重启Yarn创建相应的用户进行测试提交任务查看任务 添加如下属性到yarn-site.xml <!-- 指定使用fairScheduler的调度方式 --><property> <name>yarn.resourcemanager.scheduler.class</name>

目录介绍Namenode HAYarn HA 介绍 HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。Hadoop1.X版本，NN是HDFS集群的

目录准备环境集群部署节点角色的规划（3节点）安装配置hadoop集群修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml修改slaves将软件拷贝到所有节点配置免密码登陆启动zookeeper集群手动启动journalnode格式化namenode格式化ZKF(在active上执行即可)启动HDFS(在node01上执行)启动YARN浏览器访问 准备环境 1.

1.client向RM提交应用程序，其中包括启动该应用的ApplicationMaster的必须信息，例如：ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。2.ResourceManager启动一个container用于运行ApplicationMaster。3.启动中的ApplicationMaster向ResourceManager注册自己，启动成功后与RM保持心跳。4.ApplicationMaster向Resourc...

目录常用指令添加数据操作查询数据操作更新数据操作删除数据以及删除表操作高级shell管理命令 常用指令 进入HBase客户端命令操作界面hbase shell查看帮助命令help查看当前数据库中有哪些表list创建一张表创建user表，包含info、data两个列create 'user', 'info', 'data'create 'user', {NAME => 'info', VERSIONS =&...

目录介绍基本架构ResourceManagerNodeManagerApplicationMaster注意点 介绍 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。可以把yarn理解为相当于一个分布式的操作系统平台，

目录介绍三台机器修改哨兵配置文件三台机器启动哨兵服务模拟redis故障宕机情况redis的sentinel模式代码开发连接 介绍 Sentinel（哨兵）是Redis 的高可用性解决方案：由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器属下的某个从服务器升级为新的主服务器。在Server1 掉线后：升级Server...

目录介绍node02，node03解压redis压缩包到指定目录安装C程序运行环境node02，node03进行编译redisnode02，node03修改redis配置文件启动redis查看redis是否启动连接redis客户端 介绍 在Redis中，用户可以通过执行SLAVEOF命令或者设置slaveof选项，让一个服务器去复制（replicate）另一个服务器，我们称呼被复制的服务器为主服务器（master），而对主服务器进行复制的服务器则被称为从服务器（sl

目录介绍RDB方案自动触发手动触发优点缺点AOF方案优点缺点 介绍 由于redis是一个内存数据库，所有的数据都是保存在内存当中的，内存当中的数据极易丢失，所以redis的数据持久化就显得尤为重要，在redis当中，提供了两种数据持久化的方式，分别为RDB以及AOF，且redis默认开启的数据持久化方式为RDB方式 RDB方案 Redis会定期保存数据快照至一个rbd文件中，并在启动时自动加载rdb文件，恢复之前保存的数据。可以在配置文件中配置R.

目录jar包连接以及关闭redis客户端操作string类型数据操作hash列表类型数据操作list类型数据操作set类型的数据 jar包 <dependencies> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId>

redis当中对字符串string的操作 CRUD 功能 示例 增 添加字符串 set hello world 设置多个KV mset AA AAA BB BBB CC CCC 设置过期时间 setex hello1 5 word1 key不存在时设置 se...

目录前提下载redis安装包解压redis压缩包到指定目录安装C程序运行环境进行编译redis修改redis配置文件启动redis查看redis是否启动连接redis客户端验证是否成功 前提 本次安装仅供学习使用，需要提前准备好Linux集群环境 下载redis安装包 node01服务器执行以下命令下载redis安装包wget http://download.redis.io/releases/redis-3.2.8.tar.gz..

目录介绍NoSQL适用场景NoSQL不适用场景NoSQL数据库举例redis的特点redis的数据类型 介绍 Redis是一个使用C语言编写的key-value开源的NOSQL存储系统。（区别于MySQL的二维表格的形式存储）NoSQL：no sql 没有SQL(不支持sql查询) not only sql 不仅仅只有SQLredis英文官网地址：https://redis.io/redis中文网站地址：...

创建maven工程并添加jar包 <dependencies><!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> &l..

目录创建topic（主题）查看topic（主题）命令生产者（producer）生产数据消费者（consumer）消费数据查看topic的相关信息增加topic分区数删除topic添加配置删除配置 创建topic（主题） 创建一个名字为test的主题， 有三个分区，有两个副本cd /export/servers/kafka_2.11-1.0.0/bin./kafka-topics.sh --create --zookeeper node01:2181,no

目录前提下载安装包并上传解压node01服务器修改kafka配置文件安装包分发到其他服务器上面去node02与node03服务器修改配置文件kafka集群启动与停止 前提 安装jdk，安装zookeeper并保证zk服务正常启动 下载安装包并上传解压 上传cd /export/soft/rz解压tar -zxvf ./kafka_2.11-1.0.0.tgz -C ../servers/ node01服务器修改kafka配...