Bigdata
普通网友
这个作者很懒,什么都没留下…
展开
-
HDFS For Java
package cn.hwadee.wuyang.hdfs.utils;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;impor原创 2017-06-21 14:16:52 · 602 阅读 · 0 评论 -
Hbase For Java
package cn.hwadee.wuyang.hbase.utils;import java.io.IOException;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfig原创 2017-06-21 16:06:55 · 547 阅读 · 0 评论 -
HDFS For core-site.xml
1.重要部分 1. fs.default.name hdfs://master:9000 定义master的URI和端口 2. hadoop.tmp.dir /usr/hadoop/tmp 临时文件夹,指定后需将使用到的所有子级文件夹都要手动创建出来,否则无法正常启动服务。 3. io.file.buffer.size 131072 用作序列化文原创 2017-06-22 15:31:38 · 876 阅读 · 0 评论 -
HDFS For hdfs-site.xml
一、重要部分 1. dfs.name.dir /usr/hadoop/hdfs/name 存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份 2. dfs.data.dir /usr/hadoop/hdfs/data 数据节点的块本地存放目录 3. dfs.replication 3 缺省的块复制数量 4. dfs.webhdfs.enable原创 2017-06-26 09:31:49 · 1946 阅读 · 0 评论 -
HDFS
jdk:jdk-8u131-linux-x64.tar.gz hadoop:hadoop-2.8.0.tar.gz centos:CentOS-7-x86_64-Minimal-1611.iso一.关闭防火墙和强制安全策略systemctl stop firewalld.servicesystemctl disable firewalld.service修改配置vi /etc/selinu原创 2017-06-15 13:42:20 · 2697 阅读 · 0 评论 -
HBASE
进入/usr cd /usr解压hbase tar -xzvf hbase-1.3.1-bin.tar.gz删除包 rm -rf hbase-1.3.1-bin.tar.gz修改文件名 mv hbase-1.3.1/ hbase修改profile vi /etc/profile添加如下代码 export ZK_HOME=/usr/zookeeper export原创 2017-06-19 13:31:59 · 804 阅读 · 0 评论 -
HIVE
进入usr cd /usr解压hive tar -xzvf apache-hive-2.1.1-bin.tar.gz删除apache-hive-2.1.1-bin.tar.gz rm -rf apache-hive-2.1.1-bin.tar.gz修改文件名 mv apache-hive-2.1.1-bin/ hive编辑/etc/profile文件,增加hive相关的环境变量配置原创 2017-06-19 17:34:02 · 1302 阅读 · 0 评论 -
ZOOKEEPER
上传zookeeper包 /usr 下;解压; tar -xzvf zookeeper-3.4.10.tar.gz 换名字; mv zookeeper-3.4.10 zookeeper删包; rm -rf zookeeper-3.4.10.tar.gz 进入zookeeper; cd zookeeper/复制zoo.cfg; cp conf/zoo_sample.cfg原创 2017-06-19 10:53:26 · 1769 阅读 · 0 评论