![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 91
running_ljy
喜欢在操场上大汗淋漓的感觉
展开
-
使用Spark的命令
** 在Ipython Notebook界面运行pyspark ** 1)默认本机运行spark PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark **2)使用Ipython Notebook在Hadoop YARN-client模式运行 启动Hadoop cluster** ...原创 2018-04-22 09:33:20 · 637 阅读 · 0 评论 -
Hadoop集群配置文件说明
自定义配置文件:目录:$HADOOP_HOME/etc/hadoop/ core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 配置 hdfs hadoop-env.sh core-site.xml hdfs-site.xml slaves yarn ya...原创 2018-04-19 11:12:51 · 414 阅读 · 0 评论