![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux软件
文章平均质量分 85
weixin_43167990
这个作者很懒,什么都没留下…
展开
-
Hadoop高可用原理及集群的搭建
Hadoop High AvailabilityHA(High Available), 高可用,是保证业务连续性的有效解决方案, 通常通过设置备用节点的方式实现;一般分为执行业务的称为活动节点(Active),和作为活动节点的一个备份的备用节点(Standby), 当活动节点出现问题, 导致正在运行的业务不能正常运行时, 备用节点此时就会侦测到, 并立即接替活动节点来执行业务, 从而实现业务的...原创 2018-09-23 15:32:46 · 689 阅读 · 0 评论 -
Spark高可用集群搭建
SparkSpark 是一个开源的类似于 Hadoop MapReduce 的通用的并行计算框架, Spark基于 map reduce 算法实现的分布式计算, 拥有Hadoop MapReduce 所具有的优点; 但不同于 MapReduce 的是Spark 中的 Job 中间输出和结果可以保存在内存中,从而不再需要读写 HDFS, 因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭...原创 2018-10-16 16:33:35 · 342 阅读 · 0 评论 -
HBase基本原理,集群搭建和简单操作
相关概念集群搭建下载地址: http://hbase.apache.org/downloads.html安装上传并解压tar zxvf ./hbase-1.3.1-bin.tar.gz重命名为hbase进入conf目录修改配置文件1)修改regionservers文件node1node2node32)修改hbase-site.xml文件<configu...转载 2018-10-09 22:28:40 · 188 阅读 · 0 评论 -
flume简单入门
Flume 介绍概述Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume 支持定制各类数据发送方,用于收集各类型数据;Flume 支持定制各类数据发送方,用于收集各类型数据;同时, Flume 提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 一般的采集需求,通过对 flume 的简单配置即可实现。 针对特殊场景也具备良好的自定义扩展能力。 ...转载 2018-10-09 00:16:19 · 906 阅读 · 0 评论 -
Storm的ack原理和使用
Storm的ack原理通过Ack机制,spout发送出去的每一条消息,都可以确定是被成功处理或失败处理, 从而可以让开发者采取动作。比如在Meta中,成功被处理,即可更新偏移量,当失败时,重复发送数据。因此,通过Ack机制,很容易做到保证所有数据均被处理,一条都不漏。另外需要注意的,当spout触发fail动作时,不会自动重发失败的tuple,需要spout自己重新获取数据,手动重新再发送一...原创 2018-09-28 22:35:00 · 1559 阅读 · 0 评论 -
Redis安装和Redis-Cluster搭建
Redis安装Redis是c语言开发的。安装redis需要c语言的编译环境。如果没有gcc需要在线安装。yum install gcc-c++Redis下载地址: https://redis.io/download将下载好的安装包上传到linux, 解压tar zxf redis-3.2.12.tar.gz进入redis-3.2.12目录进行编译cd redis-3...原创 2018-09-28 13:14:12 · 361 阅读 · 0 评论 -
sqoop安装及简单入门
Apache SqoopSqoop 是 Hadoop 和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如: MySQL, Oracle 到 Hadoop 的HDFS,并从 Hadoop 的文件系统导出数据到关系数据库。 由 Apache 软件基金会提供。Sqoop: “SQL 到 Hadoop 和 Hadoop 到 SQL” 。Sqoop 工作机制是将导入或导出命令翻译成 ma...原创 2018-09-21 20:39:33 · 177 阅读 · 0 评论 -
Zookeeper集群搭建和基本使用
关于ZookeeperZookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题ZooKeeper 典型应用数据发布与订阅发布者将数据发布到 ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。(适合数据量很小的场景, 这样数据更新可能会比较快)命名服务(Naming Service)通过使用命名服务,客户端应用能够根...原创 2018-10-02 00:29:13 · 157 阅读 · 0 评论 -
CentOS6.7下Azkaban的安装
CentOS6.7下Azkaban的安装Azkaban 介绍Azkaban 安装部署准备工作开始安装上传并解压压缩包执行sql脚本创建SSL配置(https)修改配置文件azkaban web 服务器配置文件修改azkaban 执行服务器配置启动启动web 服务器启动执行服务器登录web管理平台Azkaban 介绍Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器,用于...原创 2018-09-19 19:05:32 · 370 阅读 · 0 评论 -
hive在执行查询sql时出现java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/user/hive/warehouse/.
hive在执行查询sql时出现java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/user/hive/warehouse/test1.db/employee, expected: hdfs://cluster1原因是hadoop由普通集群修改成了高可用集群后没有更改hive设置中warehouse在hdfs上的储存路径...原创 2018-10-21 08:50:05 · 3732 阅读 · 1 评论