2017年05月_写给自己看

原创 spark

下载地址spark.apache.org 安装复制一台单独的虚拟机，名c修改其ip，192.168.56.200修改其hostname为c，hostnamectl set-hostname c修改/etc/hosts加入对本机的解析重启网络服务 systemctl restart network上传spark安装文件到root目录解压spark到/usr/local下，将其名

2017-05-30 13:39:56 294

原创 hive数据挖掘

1.下载hive 2.上传 3.解压到usr/local目录下，并修改解压后的目录名为hive,设定环境变量HADOOP_HOME,HIVE_HOME，将bin目录加入path中 4.修改hive的配置文件 1.cp hive-default.xml.template hive-site.xml 2.修改hive.metastore.schema.verification，设定为

2017-05-30 08:58:16 627

原创 zookeeper安装

1. 下载 2. 上传 3. 解压 4. scp -r 拷贝到三台机器 5. 配置： a) cp zoo_sample.cfg zoo.cfg i. server.n = xxx:2888:3888 b)进入datadie目录下，修改 myid n 6.启动zookeeper ./bin/zKserver.sh start a) 观察运行状态：bin/zkServer

2017-05-30 01:59:52 244

原创 yarn安装与测试

1，配置计算调度系统yarn和计算引擎Map/Redece 2. namenode配置mapred-site.xml property> name>mapreduce.framework.namename> value>yarnvalue> property> 3.节点配置yarn-site.xml property> n

2017-05-29 08:51:06 4154

原创 java编写hdfs程序

1.hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面，由于/tmp目录在系统重启时候会被删除，所以应该修改目录位置。修改core-site.xml(在所有站点上都修改) hadoop.tmp.dir /var/hadoop 2.第一次启动时要讲n

2017-05-29 08:33:38 363

转载 Hadoop测试

启动集群在master上启动hadoop-daemon.sh start namenode在slave上启动hadoop-daemon.sh start datanode用jps指令观察执行结果用hdfs dfsadmin -report观察集群配置情况hadoop fs -rm /filename通过http://192.168.56.100:50070/web界面观察集群运行情况用ha

2017-05-23 23:13:26 240

转载 Hadoop安装

预备知识本文假设你已经对虚拟机软件、Linux等有初步的了解，如果你不了解这方面的内容，请首先学习马士兵Linux教程下载软件下载VirtualBox http://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe下载CentOS http://isoredirect.cento

2017-05-23 23:09:04 180

m0_37996943的博客