大数据相关
高风言
有望得到的要努力,无望得到的不介意,则无论输赢姿态都会好看。
展开
-
大数据之hadoop 环境搭建从零开始——WordCount词频计数入门实战训练
这里的前提是要先安装一个干净的CentOS系统,我这里用的是CentOS6.6,安装教程参考另一篇博客:https://blog.csdn.net/gaofengyan/article/details/85054337目录hadoop 环境搭建2.3 Hadoop 集群搭建1. 安装hadoop2. 格式化与启动3. hdfs 命令4. 安装eclip...原创 2019-01-04 22:42:53 · 1640 阅读 · 0 评论 -
CentOS虚拟机Java环境中MapReduce Hadoop的WordCount(词频运算)程序连接数据入门
目录1. Hadoop 简介2. Hadoop 的架构3. MapReduce 简介4. Hadoop HDFS 简介5. HDFS架构6. MapReduce开发流程概念(重点)7. maperuce 运算开发示例(重点)8. hdfs 的数据类型(重点)9. 完整代码1. Hadoop 简介 Hadoop是使用Java编写,允许分布式集...原创 2019-01-11 17:16:26 · 1404 阅读 · 1 评论 -
CentOS6.6中用Eclipse整合Hadoop MapReduce与HBase的集成案例
目录1. bulkloading 批量导入工具2. Java完成HBase与MapReduce的集成演示操作环境说明: CentOS6.6 eclipse开发 jdk1.8 hbase-1.2.0 hadoop-2.6.5 提醒自己【本篇文章在后续学习中需要更新,补充一些说明,初学者可能对一些命令的意...原创 2019-01-18 22:38:18 · 373 阅读 · 0 评论 -
CentOS 6.6 基于学习大数据(hdfs分布式)安装 tomcat 与 MySQL(yum方式)
目录安装前的准备Tomcat 安装MySQL 安装安装前的准备1. 获取两个tar包:mysql-5.7.21-linux-glibc2.12-x86_64.tarapache-tomcat-7.0.78.tar.gz2. 说明:其实,之前在刚开始学习Linux系统的时候我的一篇博客里就有tomcat和MySQL的安装,只是这篇博客的内容比较多,要单独看起来也有点费时,这...原创 2019-01-08 13:40:02 · 234 阅读 · 0 评论 -
CentOS系统下简单的分布式(HDFS)文件夹创建,文件上传、下载等简单操作
目录Linux中eclipse创建分布式普通项目的基本操作创建工具类及测试类 这里基于上一篇博客(https://blog.csdn.net/gaofengyan/article/details/85790825)进行学习,hadoop和开发工具eclipse都已经安装好并配置好了,接下来就简单的文件夹创建、文件上传、下载、更改等操作简单体验一下分布式的普通项目玩法。因为也...原创 2019-01-08 23:38:53 · 1986 阅读 · 0 评论 -
Hadoop综合实战之MapReduce运算优化——音乐排行榜
目录1. 小项目 2. Map开发3. Reduce 开发 4. 反转键值操作Map开发5. 排序 ...原创 2019-01-15 08:53:43 · 3538 阅读 · 2 评论 -
HBase初识、CentOS6.6中HBase安装与HBase Shell简单使用
目录1. HBase简介2. hbase安装3. hbase的启动与关闭4. 术语5. HBase Shell命令简单使用1. HBase简介 HBase是一个基于HDFS的面向列的分布式数据库。HDFS基于流式数据访问,低时间延迟的数据访问并不适合在HDFS上运行。所以,如果需要实时地随机访问超大规模数据集,使用HBase是更好的选择。HBase时NoS...原创 2019-01-15 22:27:30 · 6039 阅读 · 11 评论 -
Eclipse中JavaAPI连接HBase以及对HBase相关SQL进行DDL和DML操作案例—Junit测试
目录1.1 术语1.2 环境搭建1.3 对数据表的DDL和DML操作1.4 hbase与java类型的转换操作环境说明:CentOS6.6 eclipse开发 jdk1.8 hbase-1.2.0 ...原创 2019-01-16 23:48:01 · 741 阅读 · 0 评论