Apache Hadoop
大数据生态
编程写手
路漫漫其修远兮,吾将上下而求索!
展开
-
Hadoop:使用命令行上传文件到HDFS中(2.8.5版本)
当前Hadoop的版本为:2.8.51.声明当前内容主要为本人学习和复习,当前内容为上传文件到HDFS中2.原因使用以前的方式上传文件出现了错误通过详细查看发现已经没有-input命令了不知道什么原因就使用了-cp,发现也报错了然后又尝试了moveFromLocal方法从字面上看,应该是将本地的文件移动到HDFS中,结果:直接成功了但是本地的文件却消失了3.查看和测试其它的命令这个应该是的copyFromLocal,就是将本地的文件复制到目标HDFS中copyToLoca原创 2020-06-20 16:58:42 · 3088 阅读 · 0 评论 -
HBase:HBase与Hadoop的整合(伪分布式Hadoop)
1.声明当前内容主要用于本人学习和复习,当前内容主要是将HBase与再次配置的Hadoop(伪分布式)的整合当前内容主要基于前面的博文:伪分布式的Hadoop的安装和启动这里为了方便访问开放hadoop的端口让外界访问firewall-cmd --zone=public --add-port=50020/tcp --permanent## 9000端口就是HDFS的访问端口firewall-cmd --zone=public --add-port=9000/tcp --permanent fi原创 2020-06-13 15:46:33 · 1205 阅读 · 1 评论 -
在Windows环境中的Eclipse操作Linux中的Hadoop(上传、删除、下载文件)
前提环境:使用Windows环境中的Eclipse连接Linux中的Hadoop1.查看文件双击当前的文件的时候当前的eclipse很卡,不能动,最后报错:不能打开文件解决办法:借鉴其中的权限的问题2.关闭Hadoop的安全模式hadoop dfsadmin -safemode leave3.发现当前的用户的名称不是location的用户名称修改当前文件的权限,就可以让当前电脑的账...原创 2019-10-13 17:08:15 · 390 阅读 · 0 评论 -
在Windows环境中的Eclipse连接Linux中的Hadoop
1.使用Eclipse中连接Hadoop插件当前使用的插件在:插件审核中将其放入plugins中重启Eclipse直到出现这个:2.指定当前的installation directory当前我所使用的HadoopJar的包在:资源审核中3.开启Map/Reduce 的view开启后的结果4.编辑location这里的location name随便写DFS Master必...原创 2019-10-13 15:36:48 · 724 阅读 · 0 评论 -
Hadoop的wordcount程序的简单使用(伪分布式的)
安装hadoop的版本在这里查看:本人使用的hadoop版本以及安装1.向hadoop中创建文件夹inputcd bin/hadoop fs -mkdir input/2.查看常见的input文件夹hadoop fs -ls /通过web页面查看3.创建文件并上传到hadoop中1.创建file文件夹cd ..mkdir file2.在file文件夹中创建file...原创 2019-10-13 12:29:03 · 1696 阅读 · 1 评论 -
CentOS7中Hadoop的安装和基本的配置(伪分布式的)
当前环境:CentOS7、JDK1.8、Hadoop2.6.01.解压Hadoop2.6.0tar -zxvf hadoop-2.6.0.tar.gz2.向系统环境变量中添加Hadoopvi /etc/profile刷新系统环境变量source /etc/profile3.查看当前的hadoop的版本hadoop version这里已经显示环境变量配置Hadoop成功...原创 2019-10-12 17:18:11 · 1411 阅读 · 1 评论