- 博客(18)
- 资源 (11)
- 收藏
- 关注
转载 Spark分布式编程之全局变量专题【共享变量】
转载自:http://www.aboutyun.com/thread-19652-1-1.html问题导读1.spark共享变量的作用是什么?2.什么情况下使用共享变量?3.如何在程序中使用共享变量?4.广播变量源码包含哪些内容?spark编程中,我们经常会遇到使用全局变量,来累加或则使用全局变量。然而对于分布式编程这个却与传统编程有着很大的区别。不可能在程序中声明一个全局变量,在分布式编程中就...
2018-04-05 19:03:37
13297
1
原创 超详细单机版搭建hadoop环境图文解析
参考自:http://www.cnblogs.com/end/archive/2012/08/13/2636645.htmlHadoop2.7.2之集群搭建(单机)一、安装Linux操作系统 VMware+Ubuntu安装详细过程 : http://blog.csdn.net/chongxin1/article/details/68951393ubuntu-1
2017-07-26 09:32:26
9356
原创 RedHat6.5上安装Hadoop单机
版本号:RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。基础环境准备: RedHat6.5安装:RHEL 6.5系统安装配置图解教程(
2017-07-26 09:30:34
2351
原创 RedHat6.5安装单机flume1.6
版本号:RedHat6.5 JDK1.8 apache-flume-1.6.01.apache-flume-1.6.0-bin.tar.gz 下载官网下载地址:http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz百度云盘下载地址:链接:http://pan.baidu
2017-07-26 09:24:47
518
原创 Flume和Kafka整合安装
版本号:RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.11.flume安装RedHat6.5安装单机flume1.6:http://blog.leanote.com/post/2630794313@qq.com/26781d33b4352.kafka安装RedHat6.5安装kafka集群 :
2017-07-26 09:23:58
2946
原创 Flume连接oracle实时推送数据到kafka
版本号:RedHat6.5 JDK1.8 flume-1.6.0 kafka_2.11-0.8.2.1flume安装RedHat6.5安装单机flume1.6:RedHat6.5安装单机flume1.6kafka安装RedHat6.5安装kafka集群 : RedHat6.5安装kafka集群1、下载flume-ng-sql-sou
2017-07-26 09:23:01
8580
2
原创 RedHat如何关闭防火墙
1、查看防火墙是否已开启#可以查看到iptables服务的当前状态。service iptables status上图表示防火墙已关闭。2、关闭防火墙关闭防火墙的方法为: 1)永久性生效 开启:chkconfig iptables on 关闭:chkconfig iptables off 2) 即时
2017-07-25 15:16:39
24262
原创 Linux下批处理文件编写
linux下的批处理文件,基本就是shell脚本文件。一、最简单的脚本书写方法为:1、新建一个文件,名字为test(自己定义的名字)touch test.sh2、在里面编写脚本程序必须以下面的行开始(必须方在文件的第一行): #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行
2017-07-25 15:15:30
35960
原创 RedHat6.5系统LVM增加新硬盘实现根文件系统扩容
一、新增物理空间二、linux中创建新分区1、首先查看硬盘信息,用fdisk -l命令,如果有硬盘有剩余空间就可以对其进行分区。[root@master 桌面]# fdisk -l Disk /dev/sda: 64.4 GB, 64424509440 bytes255 heads, 63 sectors/track, 7832 cylindersUnits = c
2017-07-25 15:14:03
6360
2
原创 RedHat6.5如何被windows系统远程桌面连接
一、redhat 6.5远程桌面配置服务器端:1、设置允许其它人查看您的远程桌面在“系统”-“首选项”-“远程桌面”-在“允许其它人查看您的远程桌面”前打勾;在“允许其它用户控制您的桌面”打勾如图:2、修改配置/etc/gdm/custom.conf在/etc/gdm/custom.conf配置文件中的[xdmcp]下,添
2017-07-25 15:11:59
13871
原创 RedHat无法ping通Win10的解决办法
1.环境 主机: win10 企业版 64位 ip地址: 192.168.168.100 虚拟机:Red Hat ip地址: 192.168.168.2002.现象: win10系统可以ping通RedHat,但是RedHat ping
2017-07-25 15:10:52
3163
原创 VMware Ubuntu配置虚拟机和主机互相ping通
安装VMware后,主机会有两个虚拟网卡: vmnet1和vmnet8是两个虚拟网卡,主要作用是让虚拟机可以通过你的宿主机的网线上网。注意:如果有“!”,说明不能用。vmnet1是为host-only(仅主机)方式服务的,vmnet8是为NAT方式服务的。 一个是设置私有网络(Host Only)时,用来和主机通信的,禁用以后就无法正常使用Host-Only模式了,另一个是设置网络
2017-07-25 15:08:02
8580
原创 VMware Ubuntu如何连接互联网
Brigde——桥接 :默认使用VMnet0 1、原理: Bridge 桥”就是一个主机,这个机器拥有两块网卡,分别处于两个局域网中,同时在”桥”上,运行着程序,让局域网A中的所有数据包原封不动的流入B,反之亦然。这样,局域网A和B就无缝的在链路层连接起来了,在桥接时,VMWare网卡和物理网卡应该处于同一IP网段 当然要保证两个局域网没有冲突的IP. VMWare 的桥也是同样的道理
2017-07-25 15:07:16
1239
原创 使用shell脚本批处理控制大数据环境服务启动停止
三台集群机器:master 192.168.168.200slave1 192.168.168.201slave2 192.168.168.2021、start-master.sh#!bin/sh echo "==============================================="echo "=============
2017-07-25 15:06:04
845
原创 集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤
1、RHEL 6.5系统安装配置图解教程(rhel-server-6.5)2、在Linux下安装JDK图文解析3、RedHat6.5上安装Hadoop集群4、RedHat6.5安装Spark集群5、RedHat6.5安装zookeeper集群6、RedHat6.5安装kafka集群7、RedHat6.5安装单机flume1.6
2017-07-18 11:41:29
675
2
原创 RedHat6.5上安装Hadoop集群
版本号:RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。基础环境准备: RedHat6.5安装:RHEL 6.5系统安装配置图解教
2017-07-05 21:01:07
2519
1
原创 RHEL 6.5系统安装配置图解教程(rhel-server-6.5)
RHEL 6.5系统安装配置图解教程(rhel-server-6.5)作者:佚名 字体:[增加 减小] 来源:互联网 时间:01-05 13:35:50 我要评论截止目前RHEL 6.x最新版本为RHEL 6.5,下面介绍RHEL 6.5的具体安装配置过程,需要的朋友可以参考下说明:截止目前RHEL 6.x最新版本为RHEL 6.
2017-05-26 22:09:21
24422
3
原创 在Linux下安装JDK图文解析
参考自http://weixiaolu.iteye.com/blog/1401786下载地址:http://pan.baidu.com/s/1dEJjT41 1、复制jdk到安装目录(1)假设jdk安装文件在桌面,我们指定的安装目录是:/usr/local/java 。可是系统安装后在/usr/local下并没有java目录,这需要我们去创建一个java文件夹 cd /usr/local su
2017-04-03 11:19:43
2211
文件转换为PDF&HTML;插件—jacob-1.17-M2(支持64位和32位)
2018-02-08
CentOS7局域网下安装离线Ambari
2018-01-06
openlayer3例子源码
2017-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人