大数据
迅800
这个作者很懒,什么都没留下…
展开
-
Thrift 操作 Hbase
1.Hbase对于非java语言提供了thrift接口支持2.原创 2014-08-22 14:07:15 · 954 阅读 · 0 评论 -
hbase学习
http://courses.coreservlets.com/Course-Materials/pdf/hadoop/03-HBase_2-InstallationAndShell.pdf转载 2014-09-25 19:00:04 · 407 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
Hadoop HDFS实践攻略理论部分:HDFS 基本原理文件读取、写入机制元数据管理思路实践部分:安装实践环境Shell 命令行操作方式Java API操作方式HDFS基本原理1. HDFS的解决思路 HDFS(Hadoop Distribute File System)是一个分布式文件系统,是Hadoop的重要成员。HDFS是个抽象层,底层依赖很多独立的服务器,对外提供统一原创 2017-05-23 15:17:39 · 231 阅读 · 0 评论 -
Hadoop和大数据开源工具推荐
## Hadoop相关工具转载 2017-05-23 16:20:17 · 423 阅读 · 0 评论 -
hadoop + zookeeper 安装部署
1. 网络配置1.1 查看当前机器名称 #hostname1.2 修改当前机器名称1.3 修改当前机器IP1.4 配置hosts文件(必须) 192.168.3.111 hadoopserver01 192.168.3.112 hadoopserver02 192.168.3.113 hadoopserver031原创 2017-05-15 20:31:43 · 723 阅读 · 0 评论 -
聚类算法
聚类算法聚类算法属于机器学习或数据挖掘领域内,原创 2017-05-27 14:08:19 · 1102 阅读 · 0 评论 -
大数据的六大规则
大数据的六大规则大数据包括结构化数据(Structured Data)和非结构化数据(Unstructured Data)。1. 在早期阶段,先建立数据灯塔再考虑大数据不要花24个月搭建海量的大数据环境,后期再发现这是你最大的错误。可以相当快开始采集数据、建立非完善的数据仓库和做数据分析。这种组建可称为数据灯塔,先关注三大趋势: - 发现以前未知的走势或关键驱动因素 - 摸索异常的记录 - 理转载 2017-05-27 15:52:59 · 3668 阅读 · 0 评论 -
Hadoop Storm Spark比较
HadoopHadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Hadoop M/R基于HDFS,需要切分输入数据、产生中间数据文件、排序、数据压缩、多份复制等,效率较低。假设利用hadoop,则需要先存入hdfs,按每一分钟切一个文件的粒度来算(这个粒度已经极端的细了,再小的话hdfs上会一堆小文件),hadoop开始计算时,1分钟已经过去了,然后再开始调度任务又花了一分钟,然后作原创 2017-05-31 10:16:06 · 507 阅读 · 0 评论