大数据Hadoop
大数据知识学习
白码王子小张
小张的零碎笔记
展开
-
大数据Hadoop学习记录(5)----Ubuntu16.4下安装配置HBase
这里介绍的是Ubuntu16.04+Hadoop 2.7.7+jdk 1.8+HBase 1.4.13的配置一、HBase介绍二、HBase下载安装(一)HBase下载说明(二)下载HBase(三)安装HBase三、HBase伪分布模式配置四、运行测试HBase一、HBase介绍HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable:一个结构化数据的分布式存...原创 2020-05-06 22:39:07 · 313 阅读 · 0 评论 -
大数据Hadoop学习记录(4)----基于JAVA的HDFS文件操作
大数据Hadoop学习记录(4)----基于JAVA的HDFS文件操作一、准备文件数据二、编写程序1、向HDFS上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件2、从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名3、将HDFS中指定文件的内容输出到终端中4、显示HDFS中指定的文件的读写权限、大小、创建时间...原创 2020-04-17 17:11:43 · 1677 阅读 · 0 评论 -
大数据Hadoop学习记录(3)----基于JAVA语言的HDFS文件过滤与合并
基于JAVA语言的HDFS文件过滤与合并一、启动Hadoop二、创建需要的文件夹和文件三、编写Java程序实现编写JAVA程序,筛选出符合条件的文件(如.abc文件)并将这些文件内容合并到Merge.txt中。一、启动Hadoop进入Hadoop环境cd /usr/local/hadoop启动Hadoop./sbin/start-dfs.sh查看是否启动成功jps二、创建...原创 2020-04-17 16:38:49 · 1072 阅读 · 0 评论 -
大数据Hadoop学习记录(2)----基于Java语言的HDFS文件数据载入(判断文件是否存在、写入文本文件、上传本次文件到HDFS、读取HDFS文件内容)
基于Java语言的HDFS文件数据载入(判断文件是否存在、写入文本文件、上传本次文件到HDFS、读取HDFS文件内容)一、Linux文本文件创建二、在Eclipse中配置Hadoop三、编写java程序判定文件是否存在四、编写java程序将Linux本地文件到HDFS文件系统并部署该程序五、编写java程序将文本写入HDFS文件六、编写java程序读取HDFS文本文件内容这里的操作是在Ubunt...原创 2020-04-17 16:21:03 · 758 阅读 · 0 评论 -
大数据Hadoop学习记录(1)----HDFS目录和文件Shell操作
HDFS目录和文件Shell操作推荐使用Ubuntu16+Hadoop 2.7.x版本,不会出现什么问题1、首先进入Hadoop环境cd /usr/local/hadoop2、启动Hadoop./sbin/start-dfs.sh3、查看Hadoop是否启动成功jps看到以上内容说明启动成功了4、查看hadoop fs支持的所有命令./bin/hdfs dfs5、查...原创 2020-04-17 15:49:07 · 2069 阅读 · 0 评论