2018年03月_OnTheRoad_Kang

原创大数据大纲&大数据生态圈所涉及的技术

今天博主是做一个大概的概述，缺少的章节会在后面慢慢补充，感兴趣的同学可以在下面评论留言。数据可视化展示中心：KIbana官网:点击打开链接用户指南：点击打开链接Grafana官网：点击打开链接Grafana帮助文档：点击打开链接大数据特征：1）大量化（Volume）：存储量大，增量大 TB->PB2）多样化（Variety）：来源多:搜索引擎，社交网络，通话记录，传感器格式多:(非）结...

2018-03-09 09:36:20 21478 4

原创伪分布式集群环境搭建、jdk、hadoop、zk、hbase、hive、mysql

准备工作一台机子(静态ip、映射)hadoop用户下准备：jdk1.8：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlhadoop3.0http://hadoop.apache.org/releases.htmlzookeeper3.4.1http://archive.cloud...

2018-03-28 22:04:45 11672

原创基于HBase和ZK 高可用集群环境 Shell脚本启动、关闭、重启、查看进程

这是前面博主的总结：基于Hbase&&ZK的Hadoop HA高可用环境搭建将下面四个脚本分别存放在一个单独文件中，并存放在同一目录下，使用如下命令管理 hadoop ha 高可用集群的启动、关闭、重启、查看进程sh hadoop-ha-cluster.sh start # 启动集群sh hadoop-ha-cluster.sh stop # 关闭集群...

2018-03-19 09:51:25 10377

原创 Hbase HA 高可用环境搭建

这是前面博主的总结：基于ZK的Hadoop HA 高可用的环境搭建步骤像中间一些无密登录，用户权限等可参考此博客后面会写一个shell脚本去启动、关闭、重启、查看集群的博客一、安装前准备集群主机规划IP编号安装软件主机名进程192.168.18.27node1jdk/hadoop/hbase主Master27NameNode、DFSZKFailoverController、ResourceMana...

2018-03-18 20:46:14 11264 1

原创 Hadoop HA高可用的环境搭建（ZK）

一、Hadoop HA 高可用集群整体架构在 Hadoop 1.0 时代，Hadoop 中的HDFS 集群中面临一个问题，即NameNode 单点问题，如果在集群运行过程中，NameNode出现故障宕机后，那么整个集群将会面临瘫痪。 Hadoop 2.0 以后，NameNode 的单点问题得到了解决，共有两台NameNode并形成互备，一台处于活动状态，一台处于备用状态，...

2018-03-18 17:20:46 11141 1

原创 Hadoop集群安全模式的问题

hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录，如果数据块中满足replication设置值的数据块的数量在总数据块数量中所占比例没有超过一定值（称为安全模式阀值，默认为0.999f），那么集群将持续处于安全模式，在该模式下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系...

2018-03-09 09:23:54 13236

原创 Hive概述纲要、环境配置以及HQL使用

hive概述Hive产生背景Hive是什么为什么要使用Hivehive的数据结构hive的基本操作hive的数据类型hive 元数据Hive的体系架构 Hive部署架构Hive与RDBMS的关系、区别Hive的优缺点Hive适用场景hive存储文件格式和压缩Hive环境搭建hive概述hive是大数据仓库软件，它提供了sql的方式简化大数据mapreduce的数据读取写入统计。并提供了多种使用途径...

2018-03-05 08:59:34 10685

OnTheRoad的博客