hadoop
文章平均质量分 84
flash8627
请用一段话来描述您自己,如性格、爱好、生活态度、工作情况、受教育状况等。让大家更了解你,不要超过1000个汉字。
展开
-
ambari-2.7.5 安装 常见错误1
==========================Creating target directory...==========================Command start time 2020-09-05 22:15:50Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).SSH command execution finishedhost=hdp1.gwtjs.com, exitcode=2.原创 2020-09-05 22:33:27 · 1640 阅读 · 6 评论 -
spark集群搭建
待续待更新...原创 2016-06-11 11:32:00 · 718 阅读 · 0 评论 -
Spark 日志
Spark 待续...每周末持续更新.今天是拟订目录后续将改成目录原创 2016-06-05 21:48:08 · 681 阅读 · 0 评论 -
hadoop成长日志
hadoop 日志这里为索引文章整理中...待续...原创 2016-06-05 21:53:28 · 396 阅读 · 0 评论 -
大数据-hadoop 安装 spark前奏
单节点安装伪集群安装集群安装原创 2016-06-11 10:59:49 · 1440 阅读 · 0 评论 -
Action Operations动手实战
整理中,期待ing...原创 2016-06-26 21:59:34 · 461 阅读 · 0 评论 -
transformation operations动手实战
整理中.期待中...原创 2016-06-26 21:57:41 · 466 阅读 · 0 评论 -
搭建spark开发环境
1.1 搭建和设置IDEA开发环境ide: Intellij idea 路径:/usr/local/idea idea各版本下载地址:https://confluence.jetbrains.com/display/IntelliJIDEA/Previous+IntelliJ+IDEA+Releases版本:13.1.7 需要安装桌面,在第二章节有说明原创 2016-06-11 16:19:05 · 1083 阅读 · 0 评论 -
hadoop 使用 -- spring-data-hadoop
spring是java开发者比较熟悉的框架,准备使用spring-data-hadoop为hadoop开发定制一个框架,方便后续开发人员能快速熟悉开发框架hadoop下载地址(含各版本):http://mirrors.cnnic.cn/apache/hadoop/common/mongodb下载地址:http://repo.spring.io/libs-releas原创 2015-01-22 16:50:24 · 5836 阅读 · 3 评论 -
hadoop实实的体验--hello -wordcount
1. wordcount是hadoop的示例程序 hadoop fs -ls / #可以看到集群的文件目录hadoop fs -mkdir dzg_data_fod 新建一个集群的文件目录 2. 将数据放入hdfs上 准备点文件做数据:touch data1touch原创 2015-01-13 22:06:09 · 636 阅读 · 0 评论 -
hadoop单元测试
整理中待续...原创 2015-01-13 17:51:07 · 746 阅读 · 2 评论 -
hadoop实实的体验 hdfs读写
有人称hdfs存储过程,我不写习惯,容易联想到oracle存储过程,hdfs以块(block)为单位,每块64MB 检查block:hadoop fsck / -files -blocks 命令行接口: hadoop fs -copyFromLocal input/docs/quangle.txt quangle.txt1.原创 2015-01-13 22:13:46 · 729 阅读 · 0 评论 -
hadoop实实的体验--安装
hadoop集群时注意环境保持一致,目录结构.1.1.1 所需工具Redhat Enterprise Linux 6.3 hadoop 1.2.1jdk 1.6 +1.1.2 配置系统IP这里推荐静态ip(static)这里略过... 1.1.3 先修改一个主机名hadoop喜好使用主机名访问节点 第一步:看机器名:uname-aLinux原创 2015-01-13 22:03:56 · 758 阅读 · 0 评论 -
hadoop日志
Hadoop危机?替代HDFS的8个绝佳方案原创 2015-01-06 09:37:06 · 767 阅读 · 1 评论 -
hadoop-2.6集群安装
基础环境 sshd配置 目录:/root/.ssh 整个配置就四个shell 1. 每台机器操作一次 ssh-keygen -t rsa生成ssh密钥,生成的文件如下:id_rsaid_rsa.pub.pub为公钥,没有.pub为私钥 2. 每台机器操作一次cp id_rsa.pub原创 2015-01-28 23:39:37 · 4080 阅读 · 2 评论