大数据
文章平均质量分 68
woshiermingerming
这个作者很懒,什么都没留下…
展开
-
第一次接触大数据
1.数据单位 B KB MB GB TB PB EB ZB YB 基数 2 2 2 2 2 2 2 10 10 次方 0 10 20 30 40 50 60 21 24关系是10242.数据原创 2016-07-23 10:23:21 · 620 阅读 · 0 评论 -
大数据的几个名词简单介绍
spidder1、结构化非结构化和半结构化 excel表格是结构化数据一列 杂乱无章的叫半结构化数据介于结构化和非结构化之间 html是半结构化数据 非结构化数据是图片、音频、都是字节连看都看不懂,(这是一个维度)2、xml和json的比较原创 2016-08-09 08:50:43 · 2337 阅读 · 0 评论 -
hadoop集群安装部署
1、准备两台虚拟机,一台做master (主人)另一台做slave(奴隶);新建用户zkpk2、两台虚拟机配置时钟同步 crontab -e 0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org 再运行/usr/sbin/ntpdate cn.pool.ntp.org(同步原创 2016-08-10 22:42:27 · 1337 阅读 · 0 评论 -
Hbase搭建
主要内容 解压并安装 HBase 配置 HBase 启动并验证 HBase需要hadoop集群搭建好1、(1)解压安装[zkpk@master ~]$ cd /home/zkpk/resources/software/hadoop/apache [zkpk@master apache]$ mv ~/resources/software/hadoop/apach原创 2016-08-10 23:04:10 · 244 阅读 · 0 评论 -
sqoop
sqoop是把mysql里面东西导入到Hbase里面要求:hadoop正常启动主要内容 解压并安装 Sqoop 配置 Sqoop 启动并验证 Sqoop 1解压并安装[zkpk@master ~]$ cd /home/zkpk/resources/software/hadoop/apache [zkpk@master apache]$ mv原创 2016-08-11 08:48:14 · 274 阅读 · 0 评论 -
搭建Phoenix中间件
是hbase正常启动解压安装修改环境变量重启集群(1)解压安装Phoenix[zkpk@master2 ~]$ tar -zxvf phoenix-4.6.0-HBase-0.98-bin.tar.gz (2)修改环境变量[zkpk@master2 ~]$ vim ~/.bash_profileexport PHOENIX_HOME=/home/zk原创 2016-08-12 08:26:23 · 563 阅读 · 0 评论 -
Hadoop生态圈的介绍
1. hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spark共存,ha转载 2016-10-27 16:55:30 · 424 阅读 · 0 评论 -
MapReduce程序运行过程
MapReduce程序运行过程 1. 作业运行过程:首先向JobTracker请求一个新的作业ID;然后检查输出说明(如输出目录已存在)、输出划分(如输入路径不存在);JobTracker配置好所有需要的资源,然后把作业放入到一个内部的队列中,并对其进行初始化,初始化包括创建一个代表该正在运行的作业对象(封装任务和记录信息),以便跟踪任务的状态和进程;作业调度器获取分片信息,每个分片创建一个原创 2016-10-31 09:15:59 · 1274 阅读 · 0 评论 -
分布式计算框架Hadoop原理及架构全解
http://blog.csdn.net/wangmuming/article/details/43015827转载 2016-11-26 18:44:29 · 513 阅读 · 0 评论