- 博客(11)
- 收藏
- 关注
RSS订阅原创 hbase安装
1上传2解压tar –zxvf hbase-0.99.2-bin.tar.gz 3重命名修改环境变量mv hbase-0.99.2 hbasevi /etc/profileexport $HBASE_HOME=export $PATH=$PATH:$HBASE_HOME/bin4修改配置文件hbase-site.xml<configuration><proper...
2018-02-28 01:37:25
210
原创 sqoop安装
安装sqoop的前提是已经具备java和hadoop的环境1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/ 2、修改配置文件$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export HADOOP_COMMON_HOME...
2018-02-20 22:58:13
215
原创 azkaban安装与使用
1.安装新建目录azkaban,上传安装包tar –zxvf azkaban-web-server-2.5.0.tar.gztar –zxvf azkaban-executor-server-2.5.0.tar.gztar –zxvf azkaban-sql-script-2.5.0.tar.gz分别解压tar –zxvf azkaban-web-server-2.5.0.tar.gz...
2018-02-20 20:23:53
206
原创 flume学习
安装上传安装包apache-flume-1.6.0-bin.tar.gz到数据源所在节点上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 配置采集方案监听本地目录输出到loggervi spool-logger.conf# Name the component...
2018-02-20 00:06:56
224
原创 hive安装
在安装过hadoop的节点上安装hive1.上传tar包apache-hive-1.2.1-bin.tar.gz2.解压tar -zxvf hive-0.9.0.tar.gz -C /home/hadoop/apps/3安装mysql4配置hive（a）配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home （b）配置元数据库信息...
2018-02-19 14:58:40
189
转载 Zookeeper搭建
1.下载进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeeper/ 2.安装使用tar解压要安装的目录即可，以3.4.5版本为例tar -zxf zookeeper-3.4.5.tar.gz -C /usr/myapp 3.配置在主目录下创建data和logs两个目录用于存储数据和日志：mkdir datamkd...
2018-02-17 23:25:15
193
原创 RPC框架学习
1 什么是RPCRPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客户机/服务器...
2018-02-17 23:07:08
313
原创 hadoop运行及基本命令
1格式化namenode（是对namenode进行初始化） hdfs namenode -format (hadoop namenode -format)2启动hadoop（需要配置免密登录） 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh3验证是否启动成...
2018-02-05 20:58:23
290
原创 hadoop安装(hadoop搭建2)
1下载下载binary hadoop-2.6.5.tar.gz官网：hadoop.apache.org2配置在一台服务器上解压，配置安装目录下的etc第一个：hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65
2018-02-05 20:53:01
126
原创 hadoop集群环境
hadoop集群环境 hdfs集群（负责文件读写，数据存储系统） 一台name node，若干台data node yarn集群（负责为mapreduce程序分配运算所需硬件程序）一台resource manager 若干台node managerps：node manager管理一台节点所以需要把一个node manager和data node 放在一台机器上reso
2018-02-04 12:21:56
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人