大数据
CstomRita
又是元气满满的一天
展开
-
VBox下centos虚拟机与主机
VBox下centos虚拟机与主机Part 1:关于虚拟机ip1.采用Host-only模式2.设置网关地址,(选择默认即可) 但是要注重取消DHCP的勾选 3.启动虚拟机命令行设置静态ip(注意网卡是哪一个) a 修改配置文件gedit /etc/sysconfig/network-scripts/ifcfg-eth0将信息修改DEVICE=eth0 HWADDR=08:00:27:原创 2017-07-27 13:23:52 · 263 阅读 · 0 评论 -
在MyEclipse-DFS管理中右键创建目录上传文件失效的问题
如题 :在MyEclipse-DFS管理中右键创建目录上传文件失效的问题解决方案:是由于未开放windows用户权限 在hdfs-site.xml(hadoophome/etc/hadoop)中添加<property> <name>dfs.permissions</name> <value>false</value> </property>即可原创 2017-07-28 16:27:13 · 349 阅读 · 0 评论 -
HDFS的相关命令行操作
新建目录: 1 在user/用户名下新建xx文件夹hadoop fs -mkdir xx2 在根目录下新建文件夹hadoop fs -mkdir /xx当然也可以利用 -p 父级目录 上个命令可等同于hadoop fs -mkdir -p xx当然在创建多级目录时 -p 就更加方便了hadoop fs -mkdir -p xx1/xx2删除目录/文件hadoop fs -rmr 文原创 2017-07-28 13:07:47 · 338 阅读 · 0 评论 -
MyEclipse-Maven编写WordCount时问题总结
问题 1 :关于MyEclipse总是报错缺少jar包:ClassNoFound解决办法: 一般是Maven仓库不完整 1. 切换Map/Reduce视图 PS:这一点貌似很重要 2.在pom.xml添加<dependencies> <dependency> <groupId>org.apche.hadoop</groupId> <artifact原创 2017-07-29 15:52:08 · 355 阅读 · 0 评论 -
解决namenode与datanode cluterID 不一致导致datanode无法启动的问题
解决namenode与datanode cluterID 不一致导致datanode无法启动的问题 解决方案: 在namenode机器上,根据日志提供的路径选择文件夹,存在data 与 name两个文件夹, 选择name文件夹,编辑version文件,将其clusterID修改为日志中datanode的clusterID 重启集群原创 2018-01-24 15:44:20 · 577 阅读 · 0 评论