![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 57
滑冰选手库里
纸上得来终觉浅,绝知此事要躬行
展开
-
解决Exception in thread “main“ java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSONObject
尝试了一些操作之后发现将对应的包com.alibaba:fastjson:1.2.47引入进去就不会报错了原创 2021-11-23 17:39:05 · 2805 阅读 · 0 评论 -
在启用了HDFS HA的集群误删了一个NameNode解决实践
在启用了HDFS HA的集群,2个NameNode节点上一般都会部署三个角色:NameNode,JournalNode和Failover Controller。在实际生产中,我们有时会碰到一个情况,你不小心删掉了某个NameNode节点上的所有角色包括NameNode,JournalNode和Failover Controller,或者你不小心通过Cloudera Manager直接从主机管理列表里移除了该NameNode节点,然后你想再把这个节点加回去的时候,发现无论如何HDFS服务都没办法正常使用了。本原创 2020-06-05 14:38:17 · 456 阅读 · 0 评论 -
Hadoop性能基准测试
1) 测试HDFS写性能测试内容:向HDFS集群写10个128M的文件hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB输出日志:20/04/16...原创 2020-04-16 16:35:57 · 550 阅读 · 0 评论 -
IDEA中Spark读写Hive测试
1.将集群上的hive-site.xml文件拷贝到maven工程的resource目录下并新增下面代码即可<property> <name>hive.metastore.uris</name> <value>thrift://hadoop000:9083</value></property>参...原创 2020-03-18 10:21:24 · 1406 阅读 · 0 评论 -
Hadoop kafka 压力测试
hadoop写测试:hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB19/06/18 23:07:51 INFO fs.TestDF...原创 2019-06-21 08:49:25 · 435 阅读 · 0 评论 -
Zookeeker
目录工作机制特点数据结构应用场景1.统一命名服务2.统一配置管理3.统一集群服务4.服务器动态上下线5.软负载均衡Zookeeper 安装1.分布式安装部署2.配置参数解读客户端命令行操作工作机制Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的...原创 2019-05-04 21:17:08 · 334 阅读 · 0 评论 -
hadoop+eclipse在/plugin目录导入hadoop-eclipse-plugin-x.x.x.jar插件无法识别插件问题(没有小象)
今天在添加hadoop-eclipse-plugin-2.7.3.jar插件的时候按百度上的各种说法放在/plugin目录下,重启eclipse发现插件好像没有加载,没有出现大象。多方寻找发现是版本问题,记录下来给大家分享!版本问题eclipse3.5以前:/plugins目录eclipse3.5及以后版本:/dropins目录...原创 2019-03-29 15:45:07 · 810 阅读 · 2 评论 -
HA高可用hadoop3.1.1集群搭建
有了前面全分布式部署的基础:https://blog.csdn.net/weixin_40096730/article/details/88692579现在开始进行HA高可用集群搭建!背景在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程变得不可用,整个群集将无法使用,直到NameNode重新启动或...原创 2019-03-25 09:22:15 · 569 阅读 · 1 评论 -
进击Hadoop3:VMware上搭建hadoop3.1.1服务器Centos7集群,并设置SSH免密登录。
一、集群规划 集群节点为1个NameNode,1个SecondaryNameNode,3个DataNode,如下表如示: NameNode,SecondaryNameNode:NameNode:(192.168.187.201) 组件 版本 安装包路径 jdk 1.8.0_191 /usr/local/java/ hadoop ...原创 2019-03-20 16:36:12 · 620 阅读 · 0 评论 -
Hadoop2——笔记4:配置Yarn、mapreduce
配置计算调度系统yarn和计算引擎mr配置yarn(所有虚拟机)#vi /usr/local/hadoop/etc/hadoop/yarn-site.xml<property> <name>yarn.resourcemanager.hostname</name> <value>master</value>...原创 2018-11-14 14:57:45 · 215 阅读 · 0 评论 -
Hadoop2——笔记3:使用Java进行操作HDFS
打开eclipse新建一个Java项目进行导包1.公共包2.公共包的依赖包,lib下面所有3.hdfs包然后然后回到虚拟机的master随便创建一个文件并放入到hdfs里hadoop fs -put ./hello.txt /然后再eclipse中读出来然后创建文件boolean success = fileSystem...原创 2018-11-07 13:59:41 · 2057 阅读 · 0 评论 -
Hadoop2——笔记2:文件处理
查看集群下的文件:hadoop fs -ls /删除某个文件:hadoop fs -rm /文件名要从HDFS中删除文件夹,可以使用以下命令:hadoop fs -rm -r -skipTrash /folder_name创建目录:hadoop fs -mkdir /目录名查看文件内容(文本文件):hadoop fs -text /文件名上传文件到hadoop根目录:ha...原创 2018-11-06 14:14:20 · 190 阅读 · 0 评论 -
Hadoop2——笔记1:VMware上搭建hadoop服务器Centos7集群,并设置SSH免密登录。
安装好虚拟机后修改主机名:hostnamectlset-hostnamemaster查看自己虚拟机网关IP为多少修改ip:vim /etc/sysconfig/network-scripts/ifcfg-ens32其他几台节点的IP配置。master:192.168.187.100slave1:192.168.187.101slave2:192.168.1...原创 2018-11-04 19:33:26 · 700 阅读 · 0 评论