![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Beeman_xia
他人笑我太癫狂,我笑他人看不穿。
展开
-
HDFS的接口(命令行接口和Java接口)--笔记
HDFS 文件的系统访问的接口1.Hadoop的shell命令脚本hadoop fs -ls 列出某一个目录下的文件hadoop fs -lsr 递归的方式列出所有文件hadoop fs -mkdir 创建目录hadoop fs -rm 删除文件或者目录hadoop fs -rmr 删除目录及目录下的所有目录或者文件hadoop原创 2016-12-01 16:23:31 · 1062 阅读 · 0 评论 -
Hadoop,master和slave简单的分布式搭建
大家一起学习,欢迎找茬~原创 2016-11-28 20:04:36 · 11953 阅读 · 0 评论 -
实例理解mapreduce任务的串行运行过程
一、准备:eclipse,hadoop集群注意:为了方便测试和修改,我用的是 windows 连接hadoop集群,这样在windows 下直接就能够执行 mapreduce 任务,方便程序调试。在 windows 下执行 mapreduce 任务需要安装相关插件,可以参考 windows连接hadoop集群下执行MapReduce任务数据下载地址:数据下载密码:idnx原创 2017-09-29 09:22:48 · 938 阅读 · 0 评论 -
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):
用windows连接hadoop集群执行mapreduce任务的时候出现以下错误:org.apache.hadoop.security.AccessControlException:Permission denied: user=Administrator, access=WRITE,inode="/output":hadoop:supergroup:drwxr-xr-xC原创 2017-09-29 08:43:38 · 3792 阅读 · 0 评论 -
流式计算storm,spark文章
使用Storm实现实时大数据分析!http://www.csdn.net/article/2012-12-24/2813117-storm-realtime-big-data-analysis 主要讲strom组件。原创 2017-06-15 23:03:58 · 310 阅读 · 0 评论 -
window10下的eclipse用java连接hadoop执行mapreduce任务
一.准备工作1.eclipse连接hadoop的插件,需要版本匹配,这有几个常用的 2 版本的插件hadoop2x-eclipse-plugin-master 密码:feg12.hadoop-common-2.2.0-bin-master,这个跟版本无关,直接用就可以。hadoop-common-2.2.0-bin-master密码:nr3h原创 2017-09-27 22:35:16 · 1104 阅读 · 0 评论 -
CentOs6.8 hadoop集群搭建过程中的问题
以下是地方1.Error: Java heap space网上有很多说是java虚拟机内存不够的,我也试着修改内存大小,但是没起作用,后来发现是文件在传输过程中失真。文件在上传到HDFS后变成乱码,重新上传文件后解决。卡在running jobYarn-site.xml配置错误原创 2017-09-23 07:19:10 · 301 阅读 · 0 评论 -
启动hadoop的命令
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh转载 2017-02-17 08:15:13 · 1702 阅读 · 0 评论 -
hadoop命令
1、查看指定目录下内容Hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path]eg:hadoop dfs -cat /user/wangkai.pt/data.txt3、将本地文件存储至hadoo转载 2016-12-08 20:00:51 · 346 阅读 · 0 评论 -
YARN到底是怎么一回事?
文章思路:首先提出第一代MRv1(MapReduce Version1.0)的局限性,然后解释YARN是怎么克服这些局限性的,接着说了YARN的编程模型,说了YARN的组成,YARN的通信协议和YARN的运行过程。通过这样的描述来认识YARN的。MRv1的局限性YARN是在MRv1的基础上演化而来,它克服了MRv1的各种局限性:1:扩展性差MRv1中,Jobracker同事兼备转载 2016-12-08 15:13:13 · 3116 阅读 · 0 评论 -
YARN作业运行机制
在传统的MapReduce中, Jobtracker同时负责作业调度(将任务调度给对应的tasktracker)和任务进度管理(监控任务, 重启失败的或者速度比较慢的任务等). YARN中将Jobtracker的责任划分给两个独立的守护进程: 资源管理器(resource manager)负责管理集群的所有资源, 应用管理器(application master)负责管理集群上任务的生命周期.转载 2016-12-07 09:52:33 · 527 阅读 · 0 评论 -
Hadoop部署配置文件
为了方便大家修,我把要修改的地方标红了,找到对应文件,复制粘贴过去就可以了core-site.xml<!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You原创 2016-11-29 13:10:14 · 2061 阅读 · 1 评论 -
日常错误
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:643)at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:80)原创 2017-10-10 11:24:45 · 635 阅读 · 0 评论