- 博客(5)
- 资源 (11)
- 收藏
- 关注
原创 Hadoop 学习笔记四 分布式文件系统HDFS
HDFSHDFS特点 硬件故障 流式的数据访问:HDFS设计适合批量处理 大数据集 简单一致性模型 移动计算比移动数据更经济 轻便访问异构的软硬件平台 名字节点和数据节点:HDFS是主从结构的体系 文件名字空间:支持传统的继承式的文件组织,一个用户或一个程序可以创建目录,存储文件到很多目录之中。 数据复制:HDFS能可靠地在集群中的机器之间存储非常大量的文件,它以块序列的形式存储每一个文件。属于文件
2016-03-16 18:20:22 2270
原创 Hive 安装配置、HWI
安装Hive 环境: CentOS7 已安装Hadoop-2.7.3.tar 每个节点都需要安装Hive,这里统一安装在/usr/local/ wget https://mirrors.cnnic.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz --no-check-certificate tar -zxvf apache-hive-2.
2016-03-15 16:16:05 1016
原创 Hive 基础知识
Hive 操作学习实际开发中,80%的操作都不会由MapReduce程序直接完成,而是由Hive来完成。Hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类sql查询功能,本质是把sql转换为map-reduce。Hive基本组成 用户接口:CLI(命令地),JDBC/ODBC,WEBGUI(网页访问Hive) 元数据存储,通常是存储在关系数据库如mysq
2016-03-15 15:22:58 1458
原创 Hadoop 学习笔记三 MapReduce
JAVA 工程使用MapReduce准备两个文件:file1.txthello, world hello, china hello, hefeifile2.txthello, world hello, china hello, hefei统计每个单词出现的次数。新建Eclipse创建一个Java工程导入Hadoop的JAR文件 编码: WordMapper类:package wordcount
2016-03-14 22:43:22 790
原创 集群与负载均衡技术总结
本文为个人学习笔记,可能有很多描述不对,仅作参考。 分发均衡策略 DNS负载均衡 实现方式: 一个域名设定多个dns服务或者服务器进行解析,同一个域名的每个解析都指向不同的IP地址 自建DNS解析服务 使用场景: 不同线路可以通过动态域名解析到最快的IP上。 应用层与内容的均衡还要另外考虑实现方案。 LVS Linux虚拟服务器, 需要申请多个IP ...
2016-03-14 16:58:57 2396
tcpdump for android arm
2016-01-07
php redis驱动for win
2015-12-29
mysql-connector-net-6.3.9.rar
2015-06-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人