小数据
小数据探索
legendaryhaha
legendaryhaha的博客
展开
-
zookeeper报错(stat is not executed because it is not in the whitelist.)问提
背景&问题zookeeper 3.6版本向zookeeper发送信息时报出如下问题:stat is not executed because it is not in the whitelist.解决在bin目录下的zkServer.sh脚本中添加如下代码,注意不是随意位置,要在ZOOMAIN赋值语句的后边(实在不行加最后面吧,注意一些控制块的结束符号)ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"验证ec原创 2020-12-05 13:14:44 · 2623 阅读 · 0 评论 -
HBase启动报错( Could not start ZK at requested port of 2181.)
HBase启动报错背景问题解决方式原因参考背景单机HBase 2.3.2版本Hadoop 3.2.1版本zookeeper 3.6.2版本问题1.明明是单机部署的,所以如下配置设置为了false<property> <name>hbase.cluster.distributed</name> <value>false</value> </property>2.也在hbase-env.sh原创 2020-12-05 12:30:07 · 1470 阅读 · 1 评论 -
GitHub源码|hadoop文件上传下载&MapReduce
hadoop使用前言上传列出目录文件下载单词统计前言源码配合上一篇文章的bug填坑效果更佳GitHub源码链接上传上传接口:localhost:7000/upload上传结果:列出目录文件列出文件接口localhost:7000/list下载下载接口,这里没有html,直接PostMan模拟localhost:7000/download单词统计单词统计接口localhost:7000/count...原创 2020-05-24 22:10:46 · 310 阅读 · 0 评论 -
bug填坑|hadoop使用
hadoop使用中的bug前言bug1解决bug2解决总结前言前一篇文章搭建了hadoop集群,这篇文章,针对的是window上做开发时的日常踩坑。bug1这个问题一开始挺郁闷的,HADOOP_HOME and hadoop.home.dir are unset服务器设置环境变量的时候,HADOOP_HOME这个我是有设置的,但这个hadoop.home.dir are unset却是第一次见到。解决找了些文章,有些竟然说还需要在windows上部署一个和服务器上版本一样的hadoop。原创 2020-05-24 21:22:12 · 300 阅读 · 0 评论 -
小数据| Hadoop集群搭建
Hadoop集群搭建前言搭建域名设置服务器免密登录下载配置创建hdfs修改XML文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlhadoop-env.shslaves发送启动格式化拓展启动集群前言hadoop集群搭建一般都采用3条服务器来演练,为什么是3呢?之前以为跟redis类似,由主从投票策略决定,后来想了想应该不是,因为主节点是nameNode节点,而从节点是dataNode节点,你的从节点在此时升级为master也没用吧。。。后原创 2020-05-23 20:09:31 · 270 阅读 · 0 评论