当前搜索:

Spark分布式编程之全局变量专题【共享变量】

 转载自:http://www.aboutyun.com/thread-19652-1-1.html问题导读1.spark共享变量的作用是什么?2.什么情况下使用共享变量?3.如何在程序中使用共享变量?4.广播变量源码包含哪些内容?spark编程中,我们经常会遇到使用全局变量,来累加或则使用全局变...
阅读(837) 评论(0)

超详细单机版搭建hadoop环境图文解析

参考自:http://www.cnblogs.com/end/archive/2012/08/13/2636645.html Hadoop2.7.2之集群搭建(单机) 一、安装Linux操作系统  VMware+Ubuntu安装详细过程  :   http://blog.csdn...
阅读(804) 评论(0)

RedHat6.5上安装Hadoop单机

版本号:RedHat6.5   JDK1.8   Hadoop2.7.3   hadoop  说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。 ...
阅读(473) 评论(0)

RedHat6.5安装单机flume1.6

版本号: RedHat6.5   JDK1.8   apache-flume-1.6.0 1.apache-flume-1.6.0-bin.tar.gz 下载 官网下载地址:http://archive.apache.org/dist/flume/1.6.0/apache-flu...
阅读(159) 评论(0)

Flume和Kafka整合安装

版本号: RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1 1.flume安装 RedHat6.5安装单机flume1.6:http://blog.leanote.com/post/2630794313@qq.com/2...
阅读(867) 评论(0)

Flume连接oracle实时推送数据到kafka

版本号: RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1 flume安装 RedHat6.5安装单机flume1.6:RedHat6.5安装单机flume1.6 kafka安装 RedHat6.5安装k...
阅读(346) 评论(0)

RedHat如何关闭防火墙

1、查看防火墙是否已开启 #可以查看到iptables服务的当前状态。service iptables status​ 上图表示防火墙已关闭。 2、关闭防火墙 关闭防火墙的方法为:   1)永久性生效   开启:chkconfig iptables...
阅读(377) 评论(0)

Linux下批处理文件编写

linux下的批处理文件,基本就是shell脚本文件。 一、最简单的脚本书写方法为: 1、新建一个文件,名字为test(自己定义的名字) touch test.sh 2、在里面编写脚本 程序必须以下面的行开始(必须方在文件的第一行):   #!/bin/sh  ...
阅读(1513) 评论(0)

RedHat6.5系统LVM增加新硬盘实现根文件系统扩容

一、新增物理空间 二、linux中创建新分区 1、首先查看硬盘信息,用fdisk -l命令,如果有硬盘有剩余空间就可以对其进行分区。 [root@master 桌面]# fdisk -l Disk /dev/sda: 64.4 GB, 64424509440 bytes2...
阅读(1517) 评论(2)

RedHat6.5如何被windows系统远程桌面连接

一、redhat 6.5远程桌面配置 服务器端: 1、设置允许其它人查看您的远程桌面 在“系统”-“首选项”-“远程桌面”-在“允许其它人查看您的远程桌面”前打勾;在“允许其它用户控制您的桌面”打勾 如图: 2、修改配置/etc/gdm/c...
阅读(2928) 评论(0)

RedHat无法ping通Win10的解决办法

1.环境             主机: win10 企业版 64位               ip地址: 192.168.168.100              虚拟机:Red Hat                  ip地址: 192.168.168.200 ...
阅读(658) 评论(0)

VMware Ubuntu配置虚拟机和主机互相ping通

安装VMware后,主机会有两个虚拟网卡:  vmnet1和vmnet8是两个虚拟网卡,主要作用是让虚拟机可以通过你的宿主机的网线上网。注意:如果有“!”,说明不能用。 vmnet1是为host-only(仅主机)方式服务的,vmnet8是为NAT方式服务的。  一个是设置私有网络(Ho...
阅读(383) 评论(0)

VMware Ubuntu如何连接互联网

Brigde——桥接 :默认使用VMnet0  1、原理:  Bridge 桥”就是一个主机,这个机器拥有两块网卡,分别处于两个局域网中,同时在”桥”上,运行着程序,让局域网A中的所有数据包原封不动的流入B,反之亦然。这样,局域网A和B就无缝的在链路层连接起来了,在桥接时,VMWare网卡和物...
阅读(153) 评论(0)

使用shell脚本批处理控制大数据环境服务启动停止

三台集群机器: master   192.168.168.200 slave1     192.168.168.201 slave2     192.168.168.202 1、start-master.sh #!bin/sh echo "===========...
阅读(222) 评论(0)

集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤

1、RHEL 6.5系统安装配置图解教程(rhel-server-6.5) 2、在Linux下安装JDK图文解析 3、RedHat6.5上安装Hadoop集群 4、RedHat6.5安装Spark集群 5、RedHat6.5安装zookeeper集群 6、RedHat6.5安装kafka...
阅读(204) 评论(2)

RedHat6.5上安装Hadoop集群

版本号:RedHat6.5   JDK1.8   Hadoop2.7.3   hadoop  说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。 基础环境...
阅读(428) 评论(0)

RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

RHEL 6.5系统安装配置图解教程(rhel-server-6.5) 作者:佚名 字体:[增加 减小] 来源:互联网 时间:01-05 13:35:50 我要评论 截止目前RHEL 6.x最新版本为RHEL 6.5,下面介绍RHEL 6.5的具体安装配置过程,需要的朋友可以参考下 ...
阅读(878) 评论(0)

在Linux下安装JDK图文解析

参考自http://weixiaolu.iteye.com/blog/1401786下载地址:http://pan.baidu.com/s/1dEJjT41 1、复制jdk到安装目录(1)假设jdk安装文件在桌面,我们指定的安装目录是:/usr/local/java 。可是系统安装后在/usr/...
阅读(441) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 280
    排名: 28万+
    文章存档