大数据/云计算
文章平均质量分 96
oyezitan
655
展开
-
Hadoop和大数据:60款顶级开源工具
说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2020年,市场产值会超过10亿美元。IBM更是非常看好开源大数据转载 2016-10-21 00:18:12 · 623 阅读 · 0 评论 -
Hadoop学习-编程实现DFS文件操作
一、DFSDFS是一个分布式文件存储系统。 二、DFS常用操作命令创建目录 hadoop dfs -mkdir /home上传文件或目录到hdfs hadoop dfs -put hello / hadoop dfs -put hellodir/ /查看目录 hadoop dfs -ls /创建一个空文件 hadoop dfs -touchz /361way删除一...原创 2018-07-07 21:37:00 · 890 阅读 · 0 评论 -
Windows10下搭建Hadoop2.7.6的Eclipse开发环境
一、安装hadoop环境参考: https://blog.csdn.net/goodmentc/article/details/80946431 二、安装eclipse2.1 下载eclipse下载地址:https://www.eclipse.org/downloads/ 点击安装。2.2 下载hadoop的eclipse插件包下载地址:https://downloa...原创 2018-07-07 19:59:01 · 3405 阅读 · 2 评论 -
Windows下搭建本地hadoop环境
一、安装JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 我的电脑是64位win10,下载了jdk-8u45-windows-x64.exe 安装双击安装,安装到目录:D:\soft\JDK1.8 配置环境变量配置: 在环...原创 2018-07-06 21:24:18 · 3784 阅读 · 0 评论 -
在ubuntu中搭建Hadoop eclipse开发环境
搭建开发环境本文讲述在linux下搭建Hadoop开发环境。 步骤: 1、安装vmware虚拟机12 2、安装ubuntu16 3、安装eclipse: http://eclipse.org/downloads/ 下载下来的一般是tar.gz文件,先解压: tc@ubuntu:/mnt/hgfs/sharetar−zxvfeclipse−jee−kepler−SR1−linux−g...原创 2018-07-05 23:29:35 · 318 阅读 · 0 评论 -
零基础学习hadoop到上手工作线路指导(编程篇)
问题导读:1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码?Hadoop介绍hadoop是一个Java框架,同时也是编程的一次革命,使得传统开发运行程序由单台客户端(单台电脑)转换为可以由多个客户端运行(多台机器)...转载 2018-07-05 22:47:08 · 154 阅读 · 0 评论 -
Ubuntu配置SSH免登录
概述在Ubuntu中搭建Hadoop环境时,需要配置SSH免登录,否则启动hadoop会报错: tancan@ubuntu:~$ start-dfs.shStarting namenodes on [ubuntu]ubuntu: Permission denied (publickey,password).Starting datanodeslocalhost: Permissi...原创 2018-07-08 23:49:57 · 531 阅读 · 0 评论 -
hadoop伪分布式集群环境搭建
hadoop伪分布式集群伪分布式是指单机条件下,模拟分布式集群运行环境,包括:各种Java守护进程对不同Hadoop节点任务的模拟,和HDFS的交互。 守护进程:NameNode, DataNode, JobTracker, TaskTracker。用途适用于本地开发使用,常用来开发测试hadoop程序的执行。 在研究hadoop的过程中,当然需要部署hadoop集群,如果想要在本...原创 2018-06-27 00:15:02 · 1537 阅读 · 1 评论 -
Hadoop学习-编程实现单词计数
概述本问讲述在win10下,使用eclipse开发hadoop程序。 创建工程创建map/reduce工程wordcount过程略。 新建测试类MyWordCountpackage hdp.test;import java.io.IOException;import java.util.StringTokenizer;import org.apach...原创 2018-07-08 22:18:39 · 3236 阅读 · 0 评论 -
在Ubuntu中安装Hadoop(本地单机版)
Hadoop本地安装Hadoop有多种安装方式,本文讲述Hadoop本地安装方法。一、软件准备需要安装好虚拟机Vmware,本文使用的是Ubuntu16。 * 下载JDK1.8 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/index.html * 下载Openstack3.0 下载地址:h...原创 2018-06-26 22:00:53 · 2091 阅读 · 0 评论 -
手把手教你编译hadoop源码
一、版本选择之前编译过最新版本3.0.3,不是很顺利。 这次选择2.7.6。 下载源码: http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7.6-src.tar.gz 二、编译环境准备2.1 说明Hadoop源码里有个BUILDING.txt文件,说明了编译需要的环...原创 2018-07-08 16:18:41 · 738 阅读 · 0 评论 -
使用VirtualBox+Ubuntu+DevStack搭建Openstack环境
一、概述1.1 安装方式OpenStack大致分为4种安装方式: 1、基于虚拟机的快速体验安装。 这是最简单的方法,把搭建好环境的虚拟机运行起来即可。但是,遗憾的是,在网上没有找到OpenStack的虚拟机镜像。 2、基于DevStack快速脚本安装。 这是OpenStack官方推荐的方式,安装速度较快。但是,安装过程中一言不合就报错,困难重重。 3、使用自动化安装工具。 ...原创 2018-08-03 00:04:01 · 1571 阅读 · 3 评论