- 博客(5)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 Hadoop 学习笔记四 分布式文件系统HDFS
HDFSHDFS特点 硬件故障 流式的数据访问：HDFS设计适合批量处理 大数据集 简单一致性模型 移动计算比移动数据更经济 轻便访问异构的软硬件平台 名字节点和数据节点：HDFS是主从结构的体系 文件名字空间：支持传统的继承式的文件组织，一个用户或一个程序可以创建目录，存储文件到很多目录之中。 数据复制：HDFS能可靠地在集群中的机器之间存储非常大量的文件，它以块序列的形式存储每一个文件。属于文件
2016-03-16 18:20:22
2243
原创 Hive 安装配置、HWI
安装Hive 环境： CentOS7 已安装Hadoop-2.7.3.tar 每个节点都需要安装Hive，这里统一安装在/usr/local/ wget https://mirrors.cnnic.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz --no-check-certificate tar -zxvf apache-hive-2.
2016-03-15 16:16:05
996
原创 Hive 基础知识
Hive 操作学习实际开发中，80%的操作都不会由MapReduce程序直接完成，而是由Hive来完成。Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类sql查询功能，本质是把sql转换为map-reduce。Hive基本组成 用户接口：CLI（命令地）,JDBC/ODBC,WEBGUI（网页访问Hive） 元数据存储，通常是存储在关系数据库如mysq
2016-03-15 15:22:58
1438
原创 Hadoop 学习笔记三 MapReduce
JAVA 工程使用MapReduce准备两个文件：file1.txthello, world hello, china hello, hefeifile2.txthello, world hello, china hello, hefei统计每个单词出现的次数。新建Eclipse创建一个Java工程导入Hadoop的JAR文件 编码： WordMapper类：package wordcount
2016-03-14 22:43:22
778
原创 集群与负载均衡技术总结
本文为个人学习笔记，可能有很多描述不对，仅作参考。 分发均衡策略 DNS负载均衡 实现方式： 一个域名设定多个dns服务或者服务器进行解析，同一个域名的每个解析都指向不同的IP地址 自建DNS解析服务 使用场景： 不同线路可以通过动态域名解析到最快的IP上。 应用层与内容的均衡还要另外考虑实现方案。 LVS Linux虚拟服务器， 需要申请多个IP ...
2016-03-14 16:58:57
2383
tcpdump for android arm
2016-01-07
php redis驱动for win
2015-12-29
mysql-connector-net-6.3.9.rar
2015-06-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人