谢厂节的博客

Cade's Blog

Hadoop 学习笔记四 分布式文件系统HDFS

HDFSHDFS特点 硬件故障 流式的数据访问:HDFS设计适合批量处理 大数据集 简单一致性模型 移动计算比移动数据更经济 轻便访问异构的软硬件平台 名字节点和数据节点:HDFS是主从结构的体系 文件名字空间:支持传统的继承式的文件组织,一个用户或一个程序可以创建目录,存储文件到很多目录之中。 ...

2016-03-16 18:20:22

阅读数:1606

评论数:0

Hive 安装配置、HWI

安装Hive 环境: CentOS7 已安装Hadoop-2.7.3.tar 每个节点都需要安装Hive,这里统一安装在/usr/local/ wget https://mirrors.cnnic.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.ta...

2016-03-15 16:16:05

阅读数:670

评论数:0

Hive 基础知识

Hive 操作学习实际开发中,80%的操作都不会由MapReduce程序直接完成,而是由Hive来完成。Hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类sql查询功能,本质是把sql转换为map-reduce。Hive基本组成 用户接口:CLI(命令...

2016-03-15 15:22:58

阅读数:1048

评论数:0

Hadoop 学习笔记三 MapReduce

JAVA 工程使用MapReduce准备两个文件:file1.txthello, world hello, china hello, hefeifile2.txthello, world hello, china hello, hefei统计每个单词出现的次数。新建Eclipse创建一个Java...

2016-03-14 22:43:22

阅读数:537

评论数:0

集群与负载均衡技术总结

本文为个人学习笔记,可能有很多描述不对,仅作参考。 分发均衡策略 DNS负载均衡 实现方式: 一个域名设定多个dns服务或者服务器进行解析,同一个域名的每个解析都指向不同的IP地址 自建DNS解析服务 使用场景: 不同线路可以通过动态域名解析到最快的IP上。 应...

2016-03-14 16:58:57

阅读数:1848

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭