大数据
文章平均质量分 64
XM_Shawn
这个作者很懒,什么都没留下…
展开
-
使用maven构建hadoop项目
1、jdk的下载,安装,及环境变量的配置 2、maven的下载,安装,及环境变量的配置 3、eclipse maven插件的安装(百度有) 4、安装好后,重启maven 5、设置maven,Window-Preferences-Maven-Installations-add,添加maven安装路径 6、设置maven,Window-Preferences-Maven-User S原创 2016-06-03 14:36:31 · 510 阅读 · 0 评论 -
NFS服务器免密码的配置
1、关闭防火墙 2、查看是否安装nfs、rpcbind rpm -qa |grep nfs rpm -qa |grep rpcbind 2、安装NFS:yum -y install nfs-utils rpcbind 3、设置开机启动 chkconfig rpcbind on原创 2016-05-30 18:00:56 · 3779 阅读 · 0 评论 -
hadoop2.x使用put命令报错的问题
hadoop2.x使用put命令报错的问题 第一,有可能是配置文件中所配置的文件夹name、data、tmp未创建,或者路径错误所导致。 第二,有可能是因为你在配置文件的过程中,未配置使用host,而直接使用IP地址。如果使用的是IP地址,则需要在namenode的hdfs-site.xml 里面添加 dfs.namenode.datanode.registration.原创 2016-05-30 17:55:14 · 760 阅读 · 0 评论 -
hadoop学习中DNF服务器的安装(主要用来替换host文件的配置)
1、关闭防火墙 2、停止yum的自动更新 3、安装bind:yum -y install bind bind-utils 4、查看bind的安装:rpm -qa | grep '^bind' 4、修改配置文件:/etc/named.conf 5、修改配置文件:/etc/named.rfc1912.zones 在末尾添加:zone "hadoop.com"原创 2016-05-23 16:56:54 · 1578 阅读 · 0 评论 -
spark-1.3.0集群安装
前提是防火墙已经关闭,免密码服务已配置 1、下载、解压tar文件。设置spark环境变量: export SPARK_HOME=/home/grid/spark-1.3.0-bin-hadoop2.4 在PATH环境变量后面添加(:$SPARK_HOME/bin) 在CLASSPATH环境变量后面添加(:$JAVA_HOME/lib:$JAV原创 2016-06-03 14:43:22 · 455 阅读 · 0 评论 -
hadoop、spark学习中常用的linux命令
( 设置服务开机启动:chkconfig 服务名 on 值得注意的是,如果这个服务尚未被添加到 chkconfig 列表中,则现需要使用 --add 参数将其添加进去:chkconfig --add 服务名 查询当前所有自动启动的服务,可以输入:chkconfig --list ) 1、IP查看:ifconfig,若未配置环境变量,则执行:/sbin/原创 2016-06-04 10:00:14 · 488 阅读 · 0 评论