qq_42693848的博客

在pyspark操作过程中，有时会忘记多表join重名字段去用问题，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。

java + scala + spark安装（centos为例）在环境安装过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。java 安装# 查看包含的java包yum search java 或者。yum list java*# 安装（选择一个版本）yum install java-1.8.0-openjdk-devel.x86_64# 配置环境变量，配置好的见下文# 使配置生效source /etc/profile 或sour

前言在hdfs操作过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。配置java环境hdfs使用需要依赖java，所以首先需要配置java环境(当然需要提前安装java)，配置命令：# java配置export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export PATH=your_dependency_path:$PATHhdfs 基本操作HDFS命令基本格式：hadoop fs -cmd &lt