大数据开发
文章平均质量分 81
YuanOo。
好好学习好好干饭
展开
-
Hadoop中HDFS的文件到底存储在集群节点本地文件系统哪里
Hadoop中HDFS存储的文件到底存储在哪里1.前言HDFS存储机制ClientNameNode 与 DataNode2. Hdfs存储具体对应的计算机存储位置实践举例上传大文件到datanode 上寻找真正的文件1.前言对于刚刚接触学习Hadoop的同学来说,我们经常会用到以下命令:cd /usr/local/hadoop/./bin/hdfs dfs -put example.file这个put命令的作用是把本地的 example.file文件上传到HDFS分布式文件系统当中。那么有原创 2021-04-10 13:16:55 · 18915 阅读 · 3 评论 -
解决linux中python版本升级后(2.7到3.x)导致pyspark中显示zlib not available 以及name “xx”is not defined
当我打开pyspark时,加载时显示zipimport导入错误,网上搜了下,大部分说缺少zib*依赖。博主按照网上的使用sudo apt-get install zlib*命令安装这个zlib*发现问题还是没有得到解决。使用了其他方法也没用。经过多番折腾,终于知道了错误原因是spark环境配置中的python版本与我手动升级后的python不一致,所以只需要更新下spark /conf/spark-env.sh 这个配置文件就行。cd /usr/local/sparkvim ./co...原创 2021-01-28 14:49:59 · 1133 阅读 · 1 评论