![](https://img-blog.csdnimg.cn/20201213074913649.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 59
大数据
单手提煤气罐
这个作者很懒,什么都没留下…
展开
-
Redis 配置开机自动启动
文章目录前言一、配置开机自启1.初始化服务2.创建脚本文件3.启动脚本服务4.重启虚拟机,查看状态前言Redis,可用作数据库,高速缓存和消息队列代理。它具有很多的优点,最大的优点就是速度快,非常快,单机的Redis读的速度是110000次/s,写的速度是81000次/s,Redis还可以配置分布式,速度能够更快。 一、配置开机自启1.初始化服务进入到redis安装目录下utils目录下,然后执行如下命令,进行初始化服务,一路回车即可./install_server.sh2.创建..原创 2021-05-27 17:11:38 · 1943 阅读 · 0 评论 -
HBase API操作
文章目录前言一、项目成分二、代码1.配置文件2.API总结前言Hadoop中的Hbase,作为分布式数据库,其重要性不言而喻,在这里不再讲述Hbase的相关理论知识,直接展示的是Hbase的API操作。相较于网上的大多数Hbase的API操作而言,本篇博客的API是针对于新的Hbase的,在API中很多旧的方法都不能再用了,已经被淘汰了。提示:以下是本篇文章正文内容,下面案例可供参考一、项目成分这里展示的不仅仅是操作的代码,还有其他一些比较零散的代码,所以先展示整个代码的成分,两个配置文件..原创 2021-05-21 14:53:43 · 359 阅读 · 2 评论 -
Hadoop Shell操作命令
文件操作命令前言一、创建目录二、查看目录三、查看文件大小四、查看可用空间五、查看文件内容六、上传文件1.put2.copyFromLocal3.moveFromLocal4.appendToFile七、下载文件1.get2.copyToLocal3.getmerge总结前言本博客会介绍一些常用的shell命令一、创建目录代码如下(示例):hadoop fs -mkdir /b作用:在HDFS的根目录下,创建 b目录二、查看目录代码如下(示例):hadoop fs -ls /作用原创 2020-12-09 18:06:36 · 396 阅读 · 0 评论 -
Hive环境配置之安装MySQL(一)
安装MySQL说明:本人有三台主机,node1 主机设置为 Hive 的服务端,node2 设置为 Hive 的客户端,node3 设置为 MySQL 服务器,所以MySQL安装在node3上,也可以全都装在一台主机上安装 MySQ流程安装MySQL解释说明一、下载MySQL二、安装MySQL1.安装1.1.首先要卸载数据库mariadb1.2.安装 net-tools 工具和perl1.3.上传MySQL压缩包并解包1.4.开始安装2.启动MySQL3.修改密码3.1.查询密码3.2.取消密码策略检原创 2020-11-28 17:20:49 · 811 阅读 · 0 评论 -
Hadoop实战(一)之统计平均分
Hadoop实战(一)之统计平均分提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录Hadoop实战(一)之统计平均分前言一、mapreduce是什么?二、项目分析1.项目要求2.开始编写代码2.1.编写mapper类2.2.自定义数据格式,新建一个类2.3.重写reducer类2.4.main方法3.运行代码,测试总结前言Hadoop中分为hd原创 2020-11-23 16:38:03 · 2020 阅读 · 0 评论 -
Hadoop实战之Mapreduce之代码本地运行生成空目录
Mapreduce代码本地运行生成空目录一、可能原因1.代码错误2.配置错误2.1.在main方法里添加配置2.2.更改idea的文件配置总结Mapreduce代码运行,在idea中没有出现任何错误,但偏偏生成的结果是个空目录,本文对可能的原因做出简单解释一、可能原因1.代码错误如果生成的是空目录,最有可能的原因就是代码有错误,此时最好多检查几次代码,保证代码没有问题2.配置错误还有一种可能就是我们的用户名中出现了中文或者空格,解决方法也很简单,在此提供两种方法吧2.1.在main方法原创 2020-11-19 22:11:29 · 2793 阅读 · 2 评论 -
Hadoop集群之无法直接在HDFS上上传文件
HDFS无法直接在网站上拖动上传文件,如下图其实很好解决,解决方法如下:编辑配置文件在节点的配置文件core-site.xml中加入如下代码更改环境变量加入如图中的环境变量,然后重启电脑,就可以拖拉上传文件了...原创 2020-10-21 22:14:20 · 1102 阅读 · 0 评论 -
Hadoop集群之节点的服役
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。服役新节点具体步骤:免密的配置免密登录是Hadoop集群的第一步,也是最关键的一步之一,新节点的服役必然需要重新配置免密登录,这一点不在重复,之前的博客写的有免密的相关操作,不会的可以去看看。提示:新节点的防火墙也要关闭文件的拷贝新的节点什么都没有,需要将hadoop和jdk相关文件从原本集群中的节点中拷贝过来我的新节点是node4,hadoop和jdk文件都原创 2020-10-21 18:49:43 · 155 阅读 · 0 评论 -
用Java如何将HDFS上多文件加前缀
怎么样下面文件同时加上BigData-前缀,使其重命名呢?其实这就是重命名和迭代的思想,不是很难虽然这样可以重命名,但个人不是很满意,请各位指教!原创 2020-10-21 14:43:57 · 177 阅读 · 0 评论 -
Hadoop集群之节点的退役
服役服役其实很简单1.配置免密登录(在此不再赘述,不会的可以看我之前的一篇免密登录的博客)2.直接启动 DataNode,即可关联到集群3.如果数据不均衡,则执行下述命令退役退役有两种选择,配置白名单或者黑名单即可,下面演示的是配置白名单添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。1.1.在NameNode的/opt/apps/hadoop-3.1.4/etc/hadoop目录下创建dfs.hosts文件(因人而异,不同的人配置的路径可能不一样.原创 2020-10-19 16:40:45 · 399 阅读 · 0 评论 -
Hadoop集群之集群格式化多次该怎么办?
在搭建Hadoop集群时,很有可能就一不小心多进行了格式化操作,一旦进行多次格式化操作,会导致集群出现一些问题,解决方法如下:1.所有的虚拟机全都删除logs,dfs,tmp文件2.在主结点上重新格式化这样便很简单的解决了问题...原创 2020-10-18 15:28:44 · 2440 阅读 · 0 评论 -
Hadoop集群搭建之后续处理(四)
经过前面的一系列配置,Hadoop基本都已经操作好了,下面就该进行验证了1.格式化虚拟机hdfs namenode -format merliang (最后一个是集群名,自己起) (在node1上操作)只能格式化一次,因为一旦格式化两次以上会导致一些其他问题,会影响后续操作2.HDFS的启动和停止2.1.切换到dfs目录,启动dfs2.2.在node2和node3上可以使用jps命令看看进程启动是否有问题2.3.用浏览器打开192.168.36.101:9870 (1原创 2020-09-29 17:51:36 · 188 阅读 · 0 评论 -
Hadoop集群搭建之JDK与Hadoop文件配置(三)
1.现在/opt目录下创建一个新的目录,我将其命名为apps**(1——9只在node1上操作)**2.在/opt/apps目录下上传jdk和hadoop2.1. rz #lrzsz命令,可以在Windows和Linux操作系统之间传送文件,而rz是将Windows的文件上传到Linux上2.2. tar -zxvf tar包名 #对tar包进行解压2.3. tar -rf tar包名 #删除tar包,仅仅是个人习惯,不影响整体3.切换目录cd /opt/apps/had原创 2020-09-28 07:51:13 · 694 阅读 · 0 评论 -
Hadoop集群搭建之免密登录(二)
上一篇博客讲解了集群搭建的一些前期准备,需要准备好三台虚拟机,并关闭防火墙,接下来讲一讲集群搭建中比较重要的一步——免密登录1.**三台虚拟机**都进入 /etc/hosts 文件中,**将文件中原本的两行注释掉** 然后输入以下内容 192.168.36.101 node1 192.168.36.102 node2 192.168.36.103 node3 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200927192951642.原创 2020-09-27 19:45:27 · 291 阅读 · 1 评论 -
Hadoop集群搭建之关闭防火墙(一)
一.前期准备Hadoop需要三台虚拟机,所以要创建三台虚拟机,我将三台虚拟机分别命名为node1,node2,node3,IP分别是192.168.36.101,192.168.36.102,192.168.36.103。还需要准备相对应的jdktar包和hadooptar包原创 2020-09-27 19:18:07 · 9888 阅读 · 0 评论