noodlesfate1-CSDN博客

原创 hadoop完全分布式-1

查看log文件（重要），以后出现很多错误都要从此处查找1 通过log文件查看cd ${HADOOP_INSTALL}/logscat hadoop-ubuntu-namenode-bogon.log ; cat hadoop-ubuntu-namenode-bogon.out ///查看namenode的日志cat hadoop-ubuntu-datanode-bogon.l

2016-07-05 15:56:59 253

原创 hadoop连接方式配置-fs操作-put

cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml /////多个文件合并cat选择启动哪种配置模式：ln -s hadoop_pseudo hadoop（前提是剔除环境变量）export HADOOP_CONF_DIR= ////剔除环境变量创建用户目录hadoop fs -ls / //

2016-07-04 10:39:30 2024

原创启动停止守护进程

一格式化hdfs文件系统hdfs namenode -format二启动hdfs和yarn的守护进程start-dfs.sh //start-dfs.sh和start-yarn.sh在/usr/soft/hadoop/sbin下,start-all.sh是start-dfs.sh+start-yarn.shstart-yarn.sh

2016-07-01 16:36:58 460

原创 Hadoop配置伪分布模式

配置文件：${hadoop_install}etc/hadoop/*-site.xmlfs.defaultFShdfs://localhost/dfs.replication1mapreduce.framework.nameyarnyarn.resourcemanager.hos

2016-07-01 13:48:46 255

原创 hadoop配置独立模式(Standalone Mode)

hadoop------------------------------目的：处理海量数据1 存储分布式文件系统：HDFS,hadoop distribution file system2 运算mapreduce, map()+reduce------------------------jps //java指令，查看当前机器中运行的java进程

2016-06-29 15:49:44 632

原创 Hadoop安装

一下载apache官网->projects->hadoop->releases->找最新版本binary（二进制下载）->镜像地址找最上面的复制链接下载，该软件包同时含有linux和windows版本二安装cd /mnt/hgfs/Copy/hadoopcp hadoop-2.7.2.tar.gz ~/Downloadscd ~/Downloadstar -xzvf h

2016-06-29 14:36:02 214

原创 Ubuntu安装JDK

apt-get install xxx------------------------------安装hadoop不采用此方式安装JDK，hadoop在运行时需要寻找环境变量java_home，然后寻找对应的/bin、/etc等，如果用apt-get会把jdk的资源打散到/bin,/etc等目录，这样hadoop找不到对应的文件导致无法运行，所以用原始方式安装windows下d

2016-06-29 10:56:22 192

原创 Ubuntu虚拟机克隆 MAC生成网络连接方式

一虚拟机克隆被克隆的虚拟机上右键-> 管理->克隆，完整的克隆（非链接），注意空间不足ifconfig查看MAC地址二 MAC生成虚拟机上右键->设置->网络适配器->高级，下方生产MAC地址三网络连接方式桥接：客户机相当于网络中的真实主机，可以访问互联网、设置IP、互相访问，如果环境没有网络，客户机和主机之间是无法连通的NAT（网络地址转换）：客户机和

2016-06-29 09:48:19 739

原创制作ubuntu本地软件源和iso映像文件挂载iso

一制作ubuntu本地源dpkg -l | grep dpkg-devapt-cache search dpkg-devsudo apt-get install dpkg-devcd ~mkdir softcd /var/cache/apt/archivescp -R -v * ~/softmv * /mnt/hgfs/Copy/repo二制

2016-06-28 14:55:18 3935

原创 ubuntu修改软件源安装桌面VMwaretools 共享文件夹

163源deb http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse deb-src http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse deb http://mirrors.163.com/u

2016-06-28 10:17:02 324

noodlesfate1的博客