![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 65
hadoop、flink、spark、yarn等
hero.zhong
这个作者很懒,什么都没留下…
展开
-
Hadoop错误及解决方案集锦
下面列举了在启动Hadoop集群时出现的各种错误及解决方案当启动HDFS集群的时候,启动后用jps命令查询集群各组件状态,发现Secondary name node没有出现。故到Hadoop服务的logs日志文件夹查看hadoop-root-secondarynamenode-VM-4-2-ubuntu.log,发现如下报错:Lock on /export/servers/hadoop-2.7.5/hadoopDatas/snn/name/in_use.lock或者Lock on /expor原创 2021-12-28 11:11:31 · 2684 阅读 · 0 评论 -
深入分析 Parquet 列式存储格式
Parquet 是面向分析型业务的列式存储格式,由 Twitter 和 Cloudera 合作开发,2015 年 5 月从 Apache 的孵化器里毕业成为 Apache 顶级项目,最新的版本是 1.8.0。列式存储列式存储和行式存储相比有哪些优势呢?可以跳过不符合条件的数据,只读取需要的数据,降低 IO 数据量。压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的,可以使用更高效的压缩编码(例如 Run Length Encoding 和 Delta Encoding)进一步节约存储空间。转载 2021-12-03 11:06:01 · 823 阅读 · 0 评论 -
Linux服务器上telnet本服务器IP和端口拒绝访问
用telnet 本服务器IP 22或telnet 本服务器IP 2181端口,但是提示telnet: Unable to connect to remote host: Connection refused然后用其他服务器电脑访问本服务器IP+端口:运行 》 cmd 》ping 81.68.172.91运行 》 cmd 》telnet 81.68.172.91 1281也可以连接正常后来经过排查,出现上述现象的原因是服务器中有配置虚拟网卡,且该虚拟网卡配置的地址段与服务器的公网IP为同一段原创 2021-12-01 11:34:44 · 5780 阅读 · 1 评论 -
Hadoop启动时遇见Port in use: master:50070 和Cannot assign requested address解决办法
最接买了两个便宜的服务器,本想搭建一个Hdoop集群,可是在搭建的时候遇到了很多的问题,例如: namenode不能启动,datanode能正常启动在master上使用jps查看启动状态:root@master:/Hadoop/hadoop-3.1.1/logs# jps38416 NodeManager37946 DataNode38619 Jps查看hadoop安装目录log文件夹下的namenode启动日志提示:java.net.BindException: Port in us转载 2021-12-01 11:20:16 · 1147 阅读 · 1 评论