![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
吴姬压酒
希望能给大家多带来一些干货!
展开
-
【读书笔记】spark快速数据分析(持续更新...)
文章目录spark核心概念RDD编程RDD支持的操作RDD持久化方式RDD的创建RDD伪集合操作向spark传参RDD常见操作RDD持久化PairRDD 转换操作spark常见问题数据倾斜spark核心概念drive program 驱动器程序当我们使用spark shell时,我们已经拥有了一个实际的驱动器即spark shell本身连接对象 SparkContext一个spar...原创 2018-10-18 13:17:55 · 358 阅读 · 0 评论 -
【运维】mongodb集群的搭建
文章目录1.基本信息2.安装过程1).使用hadoop账号解压到/opt/hadoop/目录下:2).设置软链接:3).配置环境变量,并使其生效:4).在/opt/hadoop/mongodb/目录下建立data相关目录(须保证目录为空):5).在conf目录下修改configsvr.conf文件:6).继续修改mongos.conf文件:7).继续修改rs0.conf文件:8).继续修改rs1....原创 2018-10-17 15:53:50 · 195 阅读 · 0 评论 -
【运维】Hadoop集群搭建
文章目录1.基本信息2.安装过程1).切换到hadoop账户,通过tar -zxvf命令将hadoop解压缩至目的安装目录:2).创建tmpdir目录:3).配置hadoop-env.sh文件:4).配置mapred-env.sh文件:5).配置core-site.xml文件 core-site.xml6).配置hdfs-site.xml文件 hdfs-site.xml7).配置mapred-...原创 2018-10-17 16:21:11 · 471 阅读 · 0 评论 -
【运维】kafka集群的搭建
文章目录1.基本信息2.安装过程1).使用hadoop账户,通过tar -zxvf命令将kafka-${version}.tar.gz解压缩至目的安装目录,并设置软连接。2).修改server.properties配置文件。3).创建logs目录:4).配置kafka运行的环境变量。5).将安装包从test服务器复制到test2,test3两台机器,并配置环境变量:6).在三台机器上分别执行Kaf...原创 2018-10-17 17:20:47 · 314 阅读 · 0 评论 -
【运维】zookeeper的安装
文章目录1.基本信息2.安装过程2.1.使用hadoop账户,通过tar -xxvf命令将zookeeper-${version}.tar.gz解压缩至目的安装目录,并设置软连接。2.2 在zoo.cfg文件中添加如下配置:2.3 创建data目录和log目录,并在data目录下创建文件,命名为myid:2.4 配置zookeeper运行的环境变量。2.5 将安装包从test服务器复制到test2...原创 2018-10-17 19:00:19 · 395 阅读 · 0 评论