Hadoop
Be Your Superhero
这个作者很懒,什么都没留下…
展开
-
Windows开发hadoop本地模式下 出现[(null) entry in command string: null chmod 0700]
错误解决办法我这边的原因是没有配置环境变量配置环境变量这两个文件的下载地址在:https://github.com/SweetInk/hadoop-common-bin配置好之后再弄就可以了如果还是不行可以将hadoop.dll和winutils.exe放入到C:\Windows\System32下再设置一下文件夹的权限创建C:\tmp\hive在$HADOOP_HOME/bin$执行winutils.exe chmod -R 777 C:\tmp\hive...原创 2020-08-25 08:36:39 · 541 阅读 · 0 评论 -
Hadoop的集群
简介环境个人这里是三台虚拟机,ip分别为192.168.1.100192.168.1.102192.168.1.103并且JDK都已经安装完毕,没有安装JDK的可以参考:https://blog.csdn.net/qq_43222167/article/details/107078378在这里我将192.168.1.100这台虚拟机当作管理者,也就是NameNode,事先已经装好了hadoop,还没有装hadoop的可以参考:https://blog.csdn.net/qq_4322216原创 2020-07-25 17:24:47 · 112 阅读 · 0 评论 -
Hadoop之HBase的安装使用
简介下载安装我这里个人的链接:https://pan.baidu.com/s/1t9N5jnqYqQ-eGDyHag6gkA提取码:98hj解压tar -zxvf hbase-1.2.0-cdh5.15.1.tar.gz原创 2020-07-23 14:44:35 · 697 阅读 · 1 评论 -
Hadoop之Hive的安装使用
简介hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件来自:原创 2020-07-22 08:56:14 · 584 阅读 · 0 评论 -
Hadoop Hive介绍
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。相对于用java代码编写mapreduce来说,Hive的优势明显:快速开发,人员成本低,可扩展性(自由扩展集群规模),延展性(支持自定义函数)。Hive定义Hive是建立在 Hadoop 上转载 2020-07-20 15:45:32 · 1120 阅读 · 0 评论 -
Mapreduce的使用
生成所有的key依赖<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </depen原创 2020-07-20 10:48:48 · 165 阅读 · 0 评论 -
Hadoop之YARN的安装使用
简介YARN(Yet Another Resource Negotiator):通用的资源管理系统,提交任务到YARN进行统一的资源管理及调度master: resource management:ResourceManager (RM)job scheduling/monitoring:per-application ApplicationMaster (AM)slave: NodeManager (NM)RM:管理资源NM:执行运算的主体AM:运行的程序2 为什么用YARN集群资源原创 2020-07-20 10:42:33 · 1012 阅读 · 0 评论 -
在Java中操作HDFS
导入你Hadoop相应的jar包可以在这里查看:https://repository.cloudera.com/artifactory/cloudera-repos/根据你Hadoop的依赖一步一步寻找,例如我这里Hadoop就是org目录下的apache…,一步一步找到即可<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId>原创 2020-07-12 14:56:12 · 198 阅读 · 0 评论 -
Hadoop之HDFS常用命令
简介使用进入到hadoop的bin目录下面查看命令hadoop fs查看文件./hadoop fs -ls /创建目录./hadoop fs -mkdir -p /d1从本地剪切粘贴到HDFS./hadoop fs -moveFromLocal /t1.txt /d1拷贝到HDFS./hadoop fs -copyFromLocal ~/t1.txt /d1查看文件是否过来了./hadoop fs -ls /d1显示文件内容./hadoop fs -cat /d1/t1.t原创 2020-07-09 08:29:23 · 432 阅读 · 0 评论 -
Centos7中Hadoop的安装
必需安装Hadoop必须得有JDK环境,配置JDK1.8可以在这里查看:https://editor.csdn.net/md/?articleId=107078378安装包JDK安装好以后就开始我们的Hadoop,这里是下载好了安装包然后通过filezilla工具移动过去,filezilla工具的提取链接:https://pan.baidu.com/s/1tml9-VQMklfLOhqbw0OztQ提取码:sqfn然后就是我们的Hadoop,Hadoop的下载地址:https://mirror.原创 2020-07-05 15:42:03 · 419 阅读 · 0 评论