Hadoop
我不吃面条z
这个作者很懒,什么都没留下…
展开
-
Hadoop 目录结构
目录名称 功能 bin 存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本 etc Hadoop的配置文件目录,存放Hadoop的配置文件 lib 存放Hadoop的本地库(对数据进行压缩解压缩功能) sbin 存放启动或停止Hadoop相关服务的脚本 share 存放Hadoop的依赖jar包、文档、和官方案例 logs 存放Hadoop运行的日志...原创 2019-05-22 20:50:14 · 891 阅读 · 0 评论 -
flume的安装和使用
Flume框架简介 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务。 Flume基于流式架构,容错性强,也很灵活简单,主要用于在线实时分析。 角色 1. Source:用于采集数据,Source是产生数据流的地方,同时Source会将产生的数据流传输到 Channel,这个有点类似于Java IO部分的Channel 2. Channel:用于桥接Sour...原创 2019-06-27 22:02:51 · 318 阅读 · 0 评论 -
kafka的命令行操作
查看当前服务器中的所有topickafka-topics.sh --list --zookeeper hadoop01:2181 创建topickafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 2 --partitions 1 --topic test01 // 选项说明 // --replicat...原创 2019-06-25 23:32:15 · 257 阅读 · 0 评论 -
Kafka的安装
解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local 修改解压后的文件名称mv kafka_2.11-0.11.0.0/ kafka 在目录下创建logs文件夹mkdir logs 修改配置文件vim /usr/local/kafka/config/server.properties // broker的全局唯一编号,不能重复 b...原创 2019-06-25 23:27:09 · 256 阅读 · 0 评论 -
HBase的安装
一、解压hive.tar压缩包至指定目录 二、修改HBase配置文件 hbase-env.sh原创 2019-06-04 23:57:18 · 145 阅读 · 0 评论 -
Hive的使用
1. 创建表 使用create命令创建一个新表create table if not exists zlh.test01(id int,name string) partitioned by (date string) row format delimited fields terminated by '\t'; 把一张表的某些字段抽取出来,创建成一张新表create table tes...原创 2019-06-04 23:27:28 · 169 阅读 · 0 评论 -
Hive的安装
一、解压hive.tar压缩包至指定目录 二、配置 hive-env.shJAVA_HOME=/usr/local/jdk1.8.0_211 # Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/usr/local/hadoop-2.7.3 # Hive Configuration D...原创 2019-06-04 23:03:36 · 134 阅读 · 0 评论 -
Azkaban的安装部署
一、安装需要的jar包 // 将Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz // Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz // sql脚本 azkaban-sql-script-2.5.0.tar.gz 二、安装azkaban 在/usr/local目录下创建azkaban目录 mk...原创 2019-06-03 10:17:09 · 242 阅读 · 0 评论 -
Sqoop的配置和使用
一、 解压sqoop.tar压缩包至指定目录 二、配置 开启Zookeeper 开启集群服务 配置文件( sqoop-env.sh ):#Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/usr/local/hadoop-2.7.3 #Set path to where hadoop-*-core.jar ...原创 2019-06-03 09:36:05 · 1894 阅读 · 0 评论 -
ZooKeeper 安装
1. 上传解压软件压缩包 tar -zxvf /opt/zookeeper-3.4.6.tar.gz -C /usr/local 2. 修改配置文件 // 进入 conf 目录 cd /usr/local/zookeeper-3.4.6/conf // 重命名 zoo_sample.cfg mv zoo_sample.cfg zoo.cfg // 编辑 zoo.cfg vi zoo.cfg ...原创 2019-05-22 22:31:18 · 166 阅读 · 0 评论 -
Hadoop 安装
配置要求 1. 网卡配置 查看详细配置信息 2. 修改host映射 // 编辑 hosts 目录 vi /etc/hosts // 修改信息 192.168.137.128 hadoop01 192.168.137.129 hadoop02 192.168.137.139 hadoop03 3. 配置主机名 // 编辑 network 目录 vi /etc/sysconf/...原创 2019-05-22 22:17:51 · 184 阅读 · 0 评论 -
SparkStreaming+Kafka+flume实战案例
项目分析:flume监控某端口下产生的日志,并将监控到的信息推送给kafka,kafka产生消费数据,再由SparkStreaming接收,并在控制台实时显示接收到的数据 1. pom.xml <!-- scala --> <dependency> <groupId>org.scala-lang</groupId> <art...原创 2019-06-28 15:58:57 · 574 阅读 · 0 评论