HADOOP
lili_wuwu
这个作者很懒,什么都没留下…
展开
-
搭建hadoop环境遇到的问题
不断扩充中 嗯 ing~目录1、50070端口访问失败 ,已关闭防火墙。18088端口可以访问2、datanode没有启动3、jdk安装报错:Error occurred during initalization of VM java/lang/NoClssDefFoun4、格式化hadoop报错java.lang.InternalError: i原创 2017-03-01 12:48:16 · 606 阅读 · 0 评论 -
linux下安装oracle11g R2
查看linux系统位数 file /sbin/init 或者 file /bin/ls[root@localhost proc]# file /sbin/init/sbin/init: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked (uses shared libs), for G原创 2017-03-01 12:49:32 · 3749 阅读 · 0 评论 -
hadoop分布式环境配置
有些设置与之前写的hadoop配置相同部分不再赘述hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,master,slave几个文件,master和slave中配置都是一样的。目录一、环境准备二、环境配置 1、配置SSH 2、配置jdk,设置环境变量原创 2017-03-01 12:50:11 · 360 阅读 · 0 评论 -
spark与hadoop
在网上摘取的一些关于两者的对比,待增加。。sparkSpark是小数据集上处理复杂迭代的交互系统,并不擅长大数据集,也没有稳定性。但是最近的风评已经变化,尤其是14年10月他们完成了Peta sort的实验,这标志着Spark越来越接近替代Hadoop MapReduce了。HadoopHadoop包括Yarn和HDFS以及MapReduce,说Spar原创 2017-03-01 12:50:50 · 369 阅读 · 0 评论 -
sqoop安装
1、下载sqoop 下载地址:http://sqoop.apache.org/2、安装# tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz3、更改解压后文件的名字(因为源名字太长):# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz sqoop-1.4.6原创 2017-03-01 12:51:21 · 457 阅读 · 0 评论 -
hadoop环境搭建笔记
目录一、安装准备 1、下载jdk和hadoop包 2、虚拟机单机环境二、环境安装&配置 1、修改linux主机名 2、安装jdk 3、设置免密码登录 SSH三、hadoop配置 1、配置hadoop_home环境变量 2、配置hadoop配原创 2017-03-01 12:52:02 · 1117 阅读 · 0 评论 -
hadoop环境搭建思维导图
原创 2017-03-27 21:54:49 · 738 阅读 · 0 评论 -
SPARK环境搭建
准备工作 一套搭建好的hadoop环境下载scala、spark安装包1、安装scalatar -xzvf scala-2.12.3.tgz2、安装sparktar -xzvf spark-2.2.0-bin-hadoop2.7.tgz3、修改 、/etc/profile文件JAVA_HOME=/usr/java/jdk1.8.0_144/HADOOP_HOME...原创 2018-09-11 20:27:14 · 147 阅读 · 0 评论