Hadoop生态圈
文章平均质量分 93
关于Hadoop的各种技术。HDFS、MapReduce、Yarn、Scala、Hive等。
程序员小赵同学
大道至简,盘古生其中。
展开
-
Zookeeper简介(数据结构、节点、监听机制、权限控制、应用场景)
Zookeeper简介Zookeeper数据结构Zookeeper节点Zookeeper监听机制Zookeeper ACL权限控制Zookeeper应用场景统一命名服务数据发布、订阅功能统一集群管理负载均衡原创 2022-05-28 20:58:00 · 776 阅读 · 0 评论 -
Zookeeper集群(leader选举原理、数据同步流程)
Zookeeper集群集群角色集群架构Leader选举原理服务器启动时运行过程中数据同步流程消息广播崩溃恢复原创 2022-05-28 20:55:15 · 811 阅读 · 0 评论 -
kafka集群的搭建及测试(20191218更新)
准备工作:kafka压缩包1、使用命令unzip kafka_2.10-0.8.2.1.zip解压kafka压缩包。 2、使用命令mv kafka_2.10-0.8.2.1 kafka_2.10为安装包改名。将目录名kafka_2.10-0.8.2.1更改为kafka_2.10。 3、进入安装包的config目录下,有一个server.properties配置文件。4、修改ser...原创 2018-11-20 09:38:09 · 2210 阅读 · 0 评论 -
Hbase常用操作
绪论1、建表2、查看表3、修改表4、删除表5、启用表6、禁用表7、测试表8、插入数据9、删除数据10、统计表记录数原创 2018-11-21 23:08:06 · 210 阅读 · 0 评论 -
Hbase集群的搭建
准备工作: hbase-1.3版本的压缩包 HDFS高可用性的完全分布式搭建过程 zookeeper集群(搭建可以参考我之前的博客《HDFS高可用性的完全分布式搭建过程》的第八步)安装步骤: 1、通过命令tar -zxvf hbase-1.3.2.1-bin.tar.gz解压压缩包。 2、通过命令cd hbase-1.3.2.1/conf/进入conf目录下 3、将hdf...原创 2018-11-21 11:38:10 · 289 阅读 · 0 评论 -
Sqoop集群的搭建
准备环境 HDFS集群的安装 hbase集群的安装 Hive的安装 Zookeeper的安装 sqoop安装包操作步骤 1、使用命令tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压该安装包。 2、解压后的文件改名。命令:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7。 2、...原创 2018-11-21 12:54:49 · 2123 阅读 · 5 评论 -
Scala快速学习
1、Scala六大特性2、Scala的安装使用3、Scala基础 1)、数据类型 2)、变量和常量的声明 3)、类和对象 4)、if else 5)、for,while,do...while4、Scala函数 1)、普通函数 2)、递归函数 3)、包含参数默认值的函数 4)、可变参数个数的函数 5)、匿名函数 6)、嵌套函数 7)、偏应用函数 8)、高阶函数 9)原创 2018-10-28 13:08:24 · 1123 阅读 · 0 评论 -
Hive入门
文章目录1、Hive是什么2、Hive架构3、Hive中数据类型3、Hive中的表 3.1、内部表 3.2、外部表 3.3、临时表 3.4、分区表 3.5、分桶表4、Hive 视图5、Hive 索引6、操作Hive的方式 6.1、beeline 6.2、JDBC7、导入sql文件的方式原创 2018-11-13 09:22:10 · 639 阅读 · 0 评论 -
Hive脑图
Hive脑图原创 2018-10-23 21:12:00 · 348 阅读 · 0 评论 -
CentOS下安装MySql
yum install mysql-server -y原创 2018-10-20 17:25:18 · 121 阅读 · 0 评论 -
MapReduce基础入门
1、Hadoop四大组件 HDFS:分布式存储系统 MapReduce:分布式计算系统 Yarn:Hadoop的资源调度系统 Common:以上三大组件的公共基础部分,用于提供工具包和RPC框架等。 (注:RPC:远程过程调用,RPC能够让本地应用简单、高效地调用服务器中的过程(服务))2、什么是MapReduce  &am原创 2018-10-17 09:37:42 · 1151 阅读 · 0 评论 -
YARN集群搭建
准备条件由于之前已经搭建好了高可用的完全分布式集群,YARN集群也是搭建在高可用的完全分布式集群之上的,所以直接在之前的集群上操作。如果你还没有搭建高可用的完全分布式集群,可以参考我的上一篇博客《HDFS高可用的完全分布式集群搭建过程》。YARN集群规划实验步骤1、在node01进入hadoop的安装目录下的/opt/hadoop/hadoop-2.7.5/etc/hadoop(供参考)...原创 2018-10-16 20:17:15 · 2620 阅读 · 0 评论 -
HDFS小结(分布式存储)
绪论1、HADOOP的历史2、HDFS存储原理 2.1、各个角色的作用 2.1.1、NameNode 2.1.2、DataNode 2.1.3、SecondaryNameNode 2.1.4、ZKFC 2.1.5、JournalNode 2.1.6、Standby状态的NameNode(备用Nam原创 2018-10-14 23:51:19 · 847 阅读 · 0 评论 -
使用eclipse视图操作HDFS的操作流程
在eclipse中配置hadoop插件原创 2018-10-12 18:25:43 · 926 阅读 · 0 评论 -
HDFS高可用性的完全分布式搭建过程
提前准备1、准备四台centos服务器(一个wmware启动四个服务器就行)2、关闭防火墙3、配置静态ip4、更改主机名5、准备好jdk压缩包6、准备一个hadoop压缩包(本部分可参考本人上一篇博客:HDFS完全分布式搭建过程)集群规划图实验步骤1、配置免密登录node01->node01 node01->no原创 2018-10-11 19:18:23 · 1856 阅读 · 4 评论 -
HDFS完全分布式搭建过程
HDFS完全分布式搭建过程实验前准备本部分为那些没有linux操作经验的人准备.若您的linux已经配置好并且正在使用.可以跳过本部分直接进入**实验步骤**实验步骤...原创 2018-10-10 20:29:02 · 4400 阅读 · 0 评论 -
HDFS常用操作
HDFS常用操作上传文件 hdfs dfs -put src… dest (从本地的src位置上传到HDFS的dest位置,src可以有多个,空格隔开)复制文件 hdfs dfs -copyFromLocal src… dest (复制文件,从src位置复制到dest 位置,src可以有多个,空格隔开)移动文件(剪切) hdfs dfs -moveFromLocal src…...原创 2018-10-10 19:51:59 · 294 阅读 · 0 评论