大数据
文章平均质量分 86
嫩草终结者
一个渴望成为大牛的小程序猿
展开
-
cassandra设计模式(第二版)_分析模式(大数据处理)
“如果没有大数据分析,公司就像盲人和瞎子一样在互联网上游荡,就像高速公路上游荡的鹿一样” – Geoffrey Moore 处理和分析大数据集的能力是真正需要花时间的。所有的组织日益增长的数据量是非常巨大的。企业面临着3V数据的挑战,描述如下: • Variety多样性(数据的类型) • Velocity速度 (数据产生的速度) • Volume海量 (需要处理和存储的数据量)翻译 2017-02-28 15:30:51 · 1109 阅读 · 0 评论 -
学习Hadoop第八课(利用Java接口来操作Hadoop)
上节我们学习了HDFS架构及原理,这节我们来学习如何将Hadoop与Java相结合进行开发,这也是大家学习大数据最后打交道最多的内容,毕竟Hadoop环境的搭建虽然复杂,但是一旦搭建好之后我们的任务便是在这个架构的基础上进行java代码的开发。 首先我们新建一个java工程,这个java工程所使用的JRE要与我们在Hadoop环境所使用的版本一致,避免一些不必要的错误。由于我在转载 2017-02-21 15:59:05 · 645 阅读 · 0 评论 -
cassandra与hadoop整合
cassandra与hadoop的安装就不提了,本文主要介绍cassandra与hadoop的整合。因为关于cassandra与hadoop整合这类的资料在网上基本上找不到,而公司一直在用的就是cassandra数据库,无奈之下只能从官方文档里去找答案。然后发现官方文档有过这方面的介绍,里面提到,在cassandra的源代码里有几个关于整合hadoop的WordCount的代码。果断去源码里找到了原创 2017-02-25 13:33:27 · 3316 阅读 · 0 评论 -
hadoop2.6.0版本集群环境搭建
一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[Spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ Java -version java version "1.6.0_27" J转载 2017-09-05 10:44:22 · 360 阅读 · 0 评论 -
Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程
一、修改hosts文件 在主节点,就是第一台主机的命令行下; vim /etc/hosts 我的是三台云主机: 在原文件的基础上加上; ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2 其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和i转载 2017-09-06 16:09:45 · 434 阅读 · 0 评论 -
CentOS和Ubuntu系统下安装 HttpFS (助推Hue部署搭建)
不多说,直接上干货! 我的集群机器情况是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12) 然后,安装目录是在/home/hadoop/app下。 官方建议在master机器上安装Hue,我这里也不例外。安装在bigdatamaster转载 2018-01-11 14:10:22 · 477 阅读 · 0 评论 -
hadoop的配置文件
hdfs-site.xml <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at原创 2018-01-11 11:18:09 · 438 阅读 · 0 评论