- 博客(5)
- 资源 (11)
- 收藏
- 关注
原创 Hadoop 学习笔记四 分布式文件系统HDFS
HDFSHDFS特点硬件故障流式的数据访问:HDFS设计适合批量处理大数据集简单一致性模型移动计算比移动数据更经济轻便访问异构的软硬件平台名字节点和数据节点:HDFS是主从结构的体系文件名字空间:支持传统的继承式的文件组织,一个用户或一个程序可以创建目录,存储文件到很多目录之中。数据复制:HDFS能可靠地在集群中的机器之间存储非常大量的文件,它以块序列的形式存储每一个文件。属于文件
2016-03-16 18:20:22 2270
原创 Hive 安装配置、HWI
安装Hive环境: CentOS7已安装Hadoop-2.7.3.tar每个节点都需要安装Hive,这里统一安装在/usr/local/wget https://mirrors.cnnic.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz --no-check-certificatetar -zxvf apache-hive-2.
2016-03-15 16:16:05 1016
原创 Hive 基础知识
Hive 操作学习实际开发中,80%的操作都不会由MapReduce程序直接完成,而是由Hive来完成。Hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类sql查询功能,本质是把sql转换为map-reduce。Hive基本组成用户接口:CLI(命令地),JDBC/ODBC,WEBGUI(网页访问Hive)元数据存储,通常是存储在关系数据库如mysq
2016-03-15 15:22:58 1458
原创 Hadoop 学习笔记三 MapReduce
JAVA 工程使用MapReduce准备两个文件:file1.txthello, worldhello, chinahello, hefeifile2.txthello, worldhello, chinahello, hefei统计每个单词出现的次数。新建Eclipse创建一个Java工程导入Hadoop的JAR文件 编码: WordMapper类:package wordcount
2016-03-14 22:43:22 790
原创 集群与负载均衡技术总结
本文为个人学习笔记,可能有很多描述不对,仅作参考。分发均衡策略DNS负载均衡实现方式:一个域名设定多个dns服务或者服务器进行解析,同一个域名的每个解析都指向不同的IP地址自建DNS解析服务使用场景:不同线路可以通过动态域名解析到最快的IP上。 应用层与内容的均衡还要另外考虑实现方案。LVSLinux虚拟服务器,需要申请多个IP...
2016-03-14 16:58:57 2396
tcpdump for android arm
2016-01-07
php redis驱动for win
2015-12-29
mysql-connector-net-6.3.9.rar
2015-06-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人