关闭

Hadoop eclipse插件安装和在eclipse运行wordcount程序

一、插件下载点击打开链接            二、插件配置参考:插件配置                 三、运行配置:         四、运行结果...
阅读(109) 评论(0)

Hadooop运行WordCount(Hello world)程序

一、 Hadoop2.7.3安装并配置成功 二、 在HDFS中创建input文件目录        hadoop fs -mkdir /input       三、当前在hadoop-2.7.3的目录下,有个LICENSE.txt的文件,把它放到hdfs的input目录下面    hadoop fs -put LICENSE.txt  /input     四、 ...
阅读(171) 评论(0)

CentOS7搭建 Hadoop + HBase + Zookeeper集群

一、基础环境准备 1、下载安装包 1)jdk-8u131 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2)hadoop-2.7.3 下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/comm...
阅读(144) 评论(0)

搭建Hadoop并在集群中运行

一、简介     Hadoop的安装由4种类型的节点构成: NameNode 、DataNode、JobTracker和 TaskTracker.     Hadoop提供三种安装方式:    (1)本地模式:一种解压缩即运行的模式,Hadoop的各个部分都运行在同一个JVM中。    (2)伪分布式模式:使用不同的java虚拟机运行Hadoop的不同部分,但这些java虚拟机运行在同一台...
阅读(134) 评论(0)

大数据到哪里去

一、大数据与政府治理     政府是一个国家最重要的决策主体,其决策是否科学,直接决定了政府的治理能力和治理效果,大数据是一场治理革命,通过全息的数据呈现,使政府从"主观主义" "经验主义"的治理方式,迈向"实事求是""数据驱动"的治理方式。    (1)百度迁徙       (2)智慧警务      二、大数据与经济治理      三、大数据与公共服务...
阅读(188) 评论(0)

大数据之HDFS

一、HDFS概述 HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发,运行在通用硬件上的分布式文件系统。        其除具备其它分布式文件系统相同特性外,还有自己特有的特性:        高容错性:认为硬件总是不可靠的        高吞吐量:为大量数据访问的应用提供高吞吐量支持        大文件存储:支持存储T...
阅读(119) 评论(0)

大数据与Hadoop生态系统

一、Hadoop特性    (1)数据预先就是分布式的    (2)数据再整个计算机集群中进行备份,保证了可靠性和可用性...
阅读(148) 评论(0)

大数据来源

一、历史角度        (1)第一次信息革命:语言的创造        (2)第二次信息革命:文字的出现        (3)第三次信息革命:印刷术的发明        (4)第四次信息革命:无线电的发明        (5)第五次信息革命:电视的出现        (6)第六次信息革命:计算机与互联网的使用     二、哲学角度        (1)解决...
阅读(211) 评论(1)

大数据简介

人类文明的进步都会打下时代的烙印,19世纪的煤炭和蒸汽机,20世纪的内燃机、石油和电力,到21世纪的信息化时代。我们正处于大数据变革的时代,移动互联网、智能终端、新型传感器渗透到地球的每一个角落,人人有终端(例如手机)、物物可传感、处处可上网、时时在链接。(国际"八大金刚":IBM、谷歌、思科、高通、苹果、英特尔、甲骨文、微软)      大数据定义:       (1)维基百科给出的定义:大...
阅读(169) 评论(0)

大数据学习之HDP SANDBOX开始学习

HDP HDP是什么?   HDP全称叫做Hortonworks Data Platform。   Hortonworks数据平台是一款基于Apache Hadoop的是开源数据平台,提供大数据云存储,大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据,并使其处理起来能变成简单、更有成本效益。HDP还提供了一个开放,稳定和高度可扩展的平台,使得更容易地集成Apach...
阅读(246) 评论(0)

Nginx教程

1.1.  反向代理 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器。 1.2.  负载均衡 负载均衡,英文名称为Load Balance,是指建立在现有网络结构之上,并提供了一种廉价有效透明的方法扩展网...
阅读(83) 评论(0)
    个人资料
    • 访问:107551次
    • 积分:4313
    • 等级:
    • 排名:第7046名
    • 原创:206篇
    • 转载:135篇
    • 译文:107篇
    • 评论:30条