大数据之Hadoop学习
学习Hadoop之旅
w²大大
这个作者很懒,什么都没留下…
展开
-
大数据之Hadoop学习(十二)对数据文件中的数据进行去重基于(MapReduce编程)
对数据文件中的数据进行一、输入数据如下所示:二、创建相关文件三、JAVA代码一、输入数据如下所示:要求输出如下所示:二、创建相关文件先在HDFS创建DateRemove文件夹./bin/hdfs dfs -mkdir /user/hadoop/DateRemove用ls查看文件是否创建成功./bin/hdfs dfs -ls /user/hadoop在HDFS下创...原创 2020-05-07 22:22:46 · 2312 阅读 · 1 评论 -
大数据之Hadoop学习(十一) 在ubuntu的eclipse安装MapReduce,以及运行WordCount程序并打包成.Jar文件在终端执行(超级详细)
Eclipse 上编译和运行 MapReduce 程序一、安装 Hadoop-Eclipse-Plugin二、配置 Hadoop-Eclipse-Plugin三、在 Eclipse 中操作 HDFS 中的文件四、在 Eclipse 中创建 MapReduce 项目五、通过 Eclipse 运行 MapReduce一、安装 Hadoop-Eclipse-Plugin要在 Eclipse 上编译和...原创 2020-05-07 00:28:30 · 1447 阅读 · 1 评论 -
虚拟机中ubuntu运行MapReduce WordCount程序遇到问题的解决办法
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/weiwei/input一、问题具体如下二、解决办法三、运行结果一、问题具体如下二、解决办法右键点击刚创建的...原创 2020-05-06 23:19:32 · 1227 阅读 · 0 评论 -
大数据之Hadoop学习(十)HBase Java API编程
HBase Java API编程一、任务要求:(1)createTable(String tableName, String[] fields)(2)addRecord(String tableName, String row, String[] fields, String[] values)(3)scanColumn(String tableName, String column)(4)mod...原创 2020-04-17 18:43:25 · 2123 阅读 · 0 评论 -
大数据之Hadoop学习(九)HBase Shell数据访问操作
HBase Shell数据访问操作事前准备:1.启动Hadoop2.启动HBase3.进入shell一、使用HBase Shell命令向第1题所构建的HBase数据表中添加适宜数据;二、使用HBase Shell命令从第1题所构建的HBase数据表中查询出数据;三、使用HBase Shell命令从第1题所构建的HBase数据表中删除任一数据;四、使用HBase Shell命令统计第1题所构建的HB...原创 2020-04-15 18:44:49 · 455 阅读 · 0 评论 -
大数据之Hadoop学习(八)HBase Shell数据库表创建
HBase Shell数据库表创建根据以下关系型数据库表,使用HBase Shell设计并创建适宜的HBase数据表原创 2020-04-15 15:24:16 · 3136 阅读 · 0 评论 -
大数据之Hadoop学习(七)Java API编程实例对HBase数据库进行增删改查等操作
对HBase数据库进行增删改查一、启动Hadoop和HBase1.启动Hadoop2.启动HBase二、新建Java Project——>新建Class三、对数据库的增删改查一、启动Hadoop和HBase1.启动Hadoopcd /usr/local/hadoop/./sbin/start-dfs.sh2.启动HBasecd /usr/local/hbase/bin/st...原创 2020-04-13 13:51:44 · 1179 阅读 · 0 评论 -
大数据之Hadoop学习(六)利用Shell命令对HBase数据库基本操作
HBase数据库基本操作一、启动Hadoop和HBase1.打开Hadoop2.启动HBase3.进入Shell界面二、HBase中创建表三、HBase数据库基本操作1.添加数据2.删除数据3.查看数据4.删除表5.查询表历史数据6、退出HBase数据库表操作一、启动Hadoop和HBase1.打开Hadoopcd /usr/local/hadoop/./sbin/start-dfs.sh...原创 2020-04-13 10:29:24 · 1292 阅读 · 0 评论 -
大数据之Hadoop学习(五)HBase的安装与配置
HBase的安装与配置一、HBase1.1.2安装(1)解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local(2)将解压的文件名hbase-1.1.2改为hbase(3)配置环境变量(4)添加HBase权限(5)查看HBase版本,确定hbase安装成功二、HBase配置(伪分布式模式配置)1.配置/usr/local/hbase/conf/hbase-env.sh2...原创 2020-04-12 22:27:42 · 1445 阅读 · 0 评论 -
大数据之Hadoop学习(四)基于JAVA的HDFS文件操作(扩展实验2)
基于JAVA的HDFS文件操作(扩展实验2)一、先启动Hadoop二、编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”,要求如下:实现按行读取HDFS中指定文件的方法“readLine()”,如果读到文件末尾,则返回空,否则返回文件一行的文本。1.代码如下:2.运行结果:三、查看Java帮助手册或其它...原创 2020-04-11 13:13:01 · 4824 阅读 · 1 评论 -
大数据之Hadoop学习(三)基于JAVA的HDFS文件操作(扩展实验1)
这里写自定义目录标题一、向HDFS上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;二、从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;三、将HDFS中指定文件的内容输出到终端中;四、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;五、给定HDFS中某一个目录,输出该目录下的所有文件的读写...原创 2020-04-10 12:35:26 · 6128 阅读 · 0 评论 -
大数据之Hadoop学习(二)基于JAVA语言的HDFS文件过与合滤并
基于JAVA语言的HDFS文件过与合滤并一、创建所需文件1. 运行Hadoop2. 在路径为[/user/hadoop]下创建file文件夹,用来保存我们的数据文件3. 用下面命令分别在file文件夹创建四个文件4. 向刚刚创建的文件分别写入数据5.创建文件Merge.txt,用于合并接收过滤后的文件二、编写java程序,完成HDFS文件过与合滤并1.代码如下2.运行结果:3.在终端利用cat命...原创 2020-04-08 16:33:20 · 901 阅读 · 0 评论 -
大数据之Hadoop学习(一)利用Shell命令与HDFS进行交互
利用Shell命令与HDFS进行交互一、启动Hadoop二、利用Shell命令与HDFS进行交互1.目录操作2.文件操作在学习HDFS编程实践前,我们需要启动Hadoop。执行如下命令:一、启动Hadoopcd /usr/local/hadoop./sbin/start-dfs.sh #启动hadoop二、利用Shell命令与HDFS进行交互终端输入如下命令,查看fs总共支持了哪些...原创 2020-03-27 11:07:54 · 1979 阅读 · 0 评论