![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据科学
吴姬压酒
希望能给大家多带来一些干货!
展开
-
【读书笔记】spark快速数据分析(持续更新...)
文章目录spark核心概念RDD编程RDD支持的操作RDD持久化方式RDD的创建RDD伪集合操作向spark传参RDD常见操作RDD持久化PairRDD 转换操作spark常见问题数据倾斜 spark核心概念 drive program 驱动器程序 当我们使用spark shell时,我们已经拥有了一个实际的驱动器即spark shell本身 连接对象 SparkContext 一个spar...原创 2018-10-18 13:17:55 · 355 阅读 · 0 评论 -
【运维】Hadoop集群搭建
文章目录1.基本信息2.安装过程1).切换到hadoop账户,通过tar -zxvf命令将hadoop解压缩至目的安装目录:2).创建tmpdir目录:3).配置hadoop-env.sh文件:4).配置mapred-env.sh文件:5).配置core-site.xml文件 core-site.xml6).配置hdfs-site.xml文件 hdfs-site.xml7).配置mapred-...原创 2018-10-17 16:21:11 · 467 阅读 · 0 评论