大数据基础Hadoop
该分类专栏里面是对于大数据基础Hadoop的学习步骤哦!
陈一月的编程岁月
只做自己喜欢的事情、只热衷于自己的编程
展开
-
大数据hadoop学习【14】-----通过JAVA编程实现对MapReduce的数据进行排序
大数据hadoop学习【13】-----通过JAVA编程实现对MapReduce的数据进行去重目录一、数据准备1、ubuntu文件系统中准备对应数据文件2、运行hadoop3、将文件上传至hadoop文件系统二、编写java程序1、打开eclipse,编写数据去重的java代码三、结果测试1、终端运行jar包2、查看运行结果3、运行结果分析4、实验结束,关闭hadoop上次的博客中,林君学长通过...原创 2020-05-07 20:38:10 · 3242 阅读 · 4 评论 -
大数据hadoop学习【13】-----通过JAVA编程实现对MapReduce的数据进行去重
大数据hadoop学习【13】-----通过JAVA编程实现对MapReduce的数据进行去重目录一、数据准备1、ubuntu文件系统中准备对应数据文件2、运行hadoop3、将文件上传至hadoop文件系统二、编写java程序1、打开eclipse,编写数据去重的java代码2、将java文件打包成jar三、结果测试1、终端运行jar包2、查看运行结果3、运行结果分析4、实验结束,关闭hadoo...原创 2020-04-29 14:10:19 · 3101 阅读 · 5 评论 -
大数据hadoop学习【12】-----基于ubuntu16.04上hadoop中的MapReduce编程实践
大数据hadoop学习【12】-----基于ubuntu16.04上hadoop中的MapReduce编程实践目录一、MapReduce简介1、MapReduce的定义2、MapReduce的用途3、MapReduce的主要功能二、通过MapReduce进行词频统计1、文件词频内容准备2、在Eclipse中创建MapReduce工程项目3、为MapReduce项目添加需要的JAR包4、 编写用于词...原创 2020-04-23 23:14:13 · 3526 阅读 · 4 评论 -
大数据hadoop学习【11】-----根据要求,编写JAVA程序,实现对Hbase表中数据进行操作
大数据hadoop学习【11】-----通过JAVA语言编程,实现对Hbase数据库表中数据的相关操作目录一、JAVA编程实现对Hbase数据库的操作1、进行Hbase的访问及关闭访问2、列出HBase所有的表的相关信息,例如表名3、在终端打印出指定的表的所有记录数据4、向已经创建好的表添加指定的列族或列5、向已经创建好的表删除指定的列族或列6、删除指定的表中的某一行的所有数据7、统计表的行数8、...原创 2020-04-16 15:06:17 · 1902 阅读 · 2 评论 -
大数据hadoop学习【10】-----通过学生关系型数据库表,分别通过HBase Shell命令和JAVA编程设计并创建适宜的HBase学生信息数据表
大数据hadoop学习【10】-----根据关系型数据库表,使用HBase Shell设计并创建适宜的HBase数据表目录一、Hbase关系数据库表1、学生信息表2、课程信息表3、选课信息表二、对Hbase关系数据库表进行分析1、规划思路2、规划结果3、结果分析三、创建Hbase关系数据表1、终端运行hbase数据库,并进入hbase的shell界面2、创建综合关系表3、添加学生信息4、添加所选课...原创 2020-04-13 16:48:28 · 6255 阅读 · 5 评论 -
大数据hadoop学习【9】-----通过JAVA语言编程,实现对Hbase数据库表及数据的相关操作
大数据hadoop学习【9】-----通过JAVA语言编程,实现对Hbase数据库表及数据的相关操作目录一、Hbase数据库的运行1、运行SSH2、运行hadoop3、运行Hbase二、eclipse整体Java项目介绍1、创建属于hbase的Java Project2、导入Hbase所需要的基本库3、创建相关的包、类三、通过JAVA编程,实现对Hbase数据库的连接与关闭 ,已经菜单函数的编写1...原创 2020-04-12 15:25:53 · 3006 阅读 · 10 评论 -
大数据hadoop学习【8】-----HBase分布式数据库表及表中数据的基本操作
随着时间的慢慢推移,大数据基础课程也在慢慢的往后学习,前面我们介绍了通过Java编程实现了对hadoop文件系统HDFS进行了一系列的操作,对于hdfs的学习也可以暂告一段落,本次博客,林君学长将带大家了解HBase分布式数据库的操作与编程,并通过一系列的例题进行相应的辅助了解哦,一起来看吧!本次的实验目的如下:掌握HBase操作常用Shell命令掌握HBase数据表的创建、添加数据、查看...原创 2020-04-11 19:55:42 · 1798 阅读 · 1 评论 -
大数据hadoop学习【7】-----基于ubuntu16.04系统的HBase的下载、安装与配置
大数据hadoop学习【7】-----基于ubuntu16.04系统的HBase的下载、安装与配置目录一、Hbase下载说明1、HBase安装前的必读步骤二、Hbase的下载1、点击Hbase下载链接,进行Hbase的相关版本下载2、Hbase下载后传输到ubuntu系统三、Hbase的安装1、将Hbase解压至路径 [/usr/local]2、配置环境变量3、添加HBase权限四、Hbase伪分...原创 2020-04-09 17:31:42 · 2359 阅读 · 3 评论 -
大数据hadoop学习【6】-----通过JAVA编程实现对HDFS文件操作的JAVA整体项目
通过JAVA实现对HDFS文件个各种操作,一直是hadoop基础学习的重要步骤,也是基础知识,所以,这对JAVA编程的能力有一定的要求,在JAVA的基础上,学习好hadoop!本次博客,我们利用JAVA做一个对HDFS文件操作的整体项目,内容如下:向HDFS上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件从HDFS中下载指定文件,如果本地...原创 2020-04-03 00:44:13 · 7367 阅读 · 11 评论 -
大数据hadoop学习【5】-----通过JAVA编程,实现对HDFS文件的过滤与合并
大数据hadoop学习【5】-----通过JAVA编程,实现对HDFS文件的过滤与合并目录一、创建文件数据1、切换到hadoop账户,并运行hadoop2、在路径为[/user/hadoop]下创建file文件夹,用来保存我们的数据文件3、在file文件夹下创建3个写有学生基本信息的file文件4、创建文件Merge.txt,用于合并接收过滤后的文件二、编写JAVA程序,实现对HDFS文件的过滤与...原创 2020-04-01 19:03:39 · 3184 阅读 · 5 评论 -
大数据hadoop学习【4】-----通过JAVA 程序对Hadoop文件系统HDFS进行相应操作(判断文件是否存在、写入文本文件、上传本次文件到HDFS、读取HDFS文件内容)
大数据hadoop学习【4】-----利用JAVA API对Hadoop文件系统HDFS进行相应操作目录一、运行Hadoop,并建立eclipse相应java工程项目1、运行Hadoop2、建立eclipse项目二、编写java程序判定文件是否存在1、在创建的java项目中新建java类2、编写判定文件是否存在的java程序3、运行结果三、编写java程序将Linux本地文件上传到HDFS文件系统...原创 2020-03-31 10:28:12 · 4389 阅读 · 6 评论 -
大数据hadoop学习【3】-----ubuntu16.04上eclipse的安装及相应的hadoop环境中的java配置
大数据hadoop学习-----hadoop上eclipse的安装及相应的hadoop配置目录一、eclisp的下载及安装1、打开我们的ubuntu16.04的软件商店UK2、搜索eclipse进行安装二、创建我们hadoop的java项目1、打开eclipse2、选择我的的工作空间(workspace)3、创建java项目4、hadoop相关库的添加三、添加hadoop的java类1、点击项目右...原创 2020-03-26 15:29:37 · 2033 阅读 · 7 评论 -
大数据hadoop学习【2】-----利用Shell命令与HDFS进行交互
大数据hadoop学习-----利用Shell命令与HDFS进行交互目录一、查看hadoop的基础shell命令1、切换到hadoop账户,并进入hadoop环境2、启动hadoop的各个节点3、查看fs支持的命令二、Hadoop的目录操作1、创建一个用户目录2、创建一个二级目录3、在根目录下创建目录4、删除目录三、Hadoop的文件操作1、在当前环境下创建一个文件2、将该文件上传到【user/h...原创 2020-03-26 10:51:43 · 4208 阅读 · 2 评论 -
大数据hadoop学习【1】-----ubuntu16.04如何安装hadoop并且进行伪分布配置?
ubuntu16.04如何安装hadoop并且进行伪分布配置?在大数据的时代背景下,大数据已经是各种应用软件成型的基础,有软件,没有数据,就相当于有有菜无酒,失去灵魂;特别是现在信息专业的学生,与大数据一刻都不能分开,那么既然要学习大数据,我们就得安装hadoop进行大数据的学习,本次博客,学长主要给大家介绍在ubuntu16.04版本上如何安装hadoop并进行伪分布的配置!一、hadoop...原创 2020-02-29 14:21:41 · 3366 阅读 · 1 评论