Spark基础

Spark基础

建库一定要指定字符集，错了好多次了

pip

卸载某个模块

pip uninstall pandas

-- 下载其它的改掉pandas即可
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

更新最新版本pip
python -m pip install --upgrade pip

1、 启动服务

Hadoop

启动全部服务
*****/hadoop/sbin/start-all.sh
启动hdfs
*****/hadoop/sbin/start-dfs.sh
启动yarn
*****/hadoop/sbin/start-yarn.sh
启动history日志服务
*****/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

Spark

同上，前面是你自己安装的路径

启动standalone资源调度服务
/spark/sbin/start-all.sh
启动master
/spark/sbin/start-master.sh
启动历史日志服务
/spark/sbin/start-history-server.sh

2、spark的(交互开发)指令参数

在通过指令运行时，就是进入交互模式，运行一个计算程序
该参数对spark指令都有效的
计算任务运行期间查询计算的任务信息可以访问4040端口
计算任务结束后查询计算的任务信息可以访问18080端口

pyspark --master yarn --name shaonianlu_conf --conf 'spark.sql.shuffle.partitions=100'
使用yarn进行资源调度，指定任务名为shaonianlu 更改配置信息

3、dirver和excutor

dirver 和excutor是两个进程程序
当spark的计算代码程序运行时就会产生一个dirver，dirver管理执行计算任务
driver会先申请资源，创建出excutor进程
excutor进程创建成功或通知driver，dirver会将计算任务以线程的方式交给excutor执行
dirver 负责管理计算任务
excutor 负责执行计算任务

4、spark-submit提交方式

在–master yarn模式下会有一个–deploy-mode指定提交模式

• 有两种提交代码计算的模式
  • clinet模式 默认的提交模式 不指定–deploy-mode
  • cluster模式 --deploy-mode cluster
    • 在cluster模式下不会输出终端结果信息