大数据
jsaon_pg
热爱编程,喜欢学习新技术。
展开
-
hadoop完全分布式安装教程
1 网络配置 如果是配虚拟机,记得到计算机管理—》服务,打开以下服务,要不然上不了网。 1.1编辑网络配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=...原创 2019-08-27 15:30:21 · 445 阅读 · 0 评论 -
hadoop的HA安装配置
1 安装配置zookeeper 1、https://archive.apache.org/dist/zookeeper/ 2、上传压缩文件到集群 拖之 3、解压 tar -zxvf xxx.tar.gz -C /path 4、修改配置文件 进入conf目录:cd ZKHOME/conf ``` > mv zoo_sample.cfg zoo.cfg -- 改名 > vim zoo.cf...原创 2019-08-27 15:44:13 · 188 阅读 · 0 评论 -
spark累加器Accumulator
1 使用累加器的背景 spark在调度任务时,master会挑选一个worker成为driver。 在使用spark的action算子时,会触发job任务,开始计算。 此时,开始切分,driver分发Task给相应的executor,每个executor是相对独立的。 对应在action算子范围内的变量会各自独立。如果在action算子代码内使用driver算子代码范围的变量, 会形成在每个exe...原创 2019-09-17 15:18:32 · 216 阅读 · 0 评论 -
spark编写wordcount程序
object WordCount { def main(args: Array[String]): Unit = { val lines = Array("hello tom hello jerry", "hello kitty hello tom", "hello tom tom") //按空格切割行成词,形成RDD(Array(),Array(),...),在flat...原创 2019-09-17 15:32:22 · 333 阅读 · 0 评论