hadoop,spark相关知识
千寻~
这个作者很懒,什么都没留下…
展开
-
Hadoop2.7.1伪分布式运行实例
上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要创建用户目录bin/hdfs dfs -mkdir -p user/hadoop接着将 etc/hadoop 中的文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop复制到分布式文件系统中的/user/hadoop/inp原创 2015-07-30 15:23:36 · 1843 阅读 · 0 评论 -
hadoop2.7.1伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改3个配置文件 core-site.xml 、hdfs-site.xml和 mapred-site.xml 。Hadoop的配原创 2015-07-30 15:51:39 · 1476 阅读 · 0 评论 -
hadoop2.6单机运行及伪分布式部署运行
Hadoop单机配置Hadoop 默认配置是以非分布式模式运行,即单 Java 进程,方便进行调试。可以执行附带的例子 WordCount 来感受下 Hadoop 的运行。将 input 文件夹中的文件作为输入,统计当中符合正则表达式 wo[a-z.]+ 的单词出现的次数,并输出结果到 output 文件夹中。$ cd /usr/local/hadoop$ mkdir input转载 2017-02-25 19:38:24 · 1918 阅读 · 0 评论 -
hadoop2.7.1使用dfs命令的错误(bin/hdfs dfs -mkidr input的错误)
hadoop2.7.1 相对路径不能用,似乎必须用绝对路径创建????bin/hdfs dfs -mkdir input错误 提示“ls: `input': No such file or directory”(环境是hadoop2.7 centos 64位 )第一步错误必须换成hadoop dfs -mkdir /inputbin/hdfs fs原创 2015-12-11 09:08:36 · 12269 阅读 · 0 评论 -
hadoop datanode未启动
查看日志,报错ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /usr/hadoop-1.2.1/hdfs/data: namenode namespaceID = 697999702; datanode namespaceID原创 2015-11-26 23:21:20 · 696 阅读 · 0 评论 -
hadoop ERROR security.UserGroupInformation: PriviledgedActionException as:root
错误描述:在运行 hadoop-examples-1.2.1.jar例子时抛错误!!命令: ./bin/hadoop jar hadoop-examples-1.2.1.jar grep input_yumh out_yumh 'dfs[a-z.]+'错误内容:15/10/20 22:04:41 INFO util.NativeCodeLoader: Loaded the原创 2015-10-20 22:15:59 · 4003 阅读 · 0 评论 -
Hadoop参数:fs.defaultFS、 dfs.name.dir 、 dfs.data.dir
fs.defaultFSThe name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri's scheme determines the config property (fs.SCHEME.impl) naming原创 2017-04-06 10:59:03 · 26710 阅读 · 7 评论