weixin_45684171的博客

Dateset对象的创建环境准备：打开Hadoop01，Hadoop02，Hadoop03开启Hadoop环境start-dfs.shstart-yarn.shspark的开启cd /export/servers/spark/bin/spark-shell --master local[2]一、 Dateset对象的创建1.从txt文件创建DataSetval personDs=spark.createDataset(sc.textFile("/spark/person.t

环境准备：打开Hadoop01，Hadoop02，Hadoop03开启Hadoop环境start-dfs.shstart-yarn.sh注意：要查看一下spark/conf下的那个spark-env.sh文件有没有整合hdfs，一定要整合，不然待会下面运行时会报找不到路径的错误解决方法：到spark/conf目录下修改spark-env.sh文件，整合hdfscd spark/conf/vi spark-env.sh添加：export HADOOP_CONF_DIR=/ex

十一、Spark集群安装部署1. 下载spark安装包2. 解压spark安装包进入到/export/software/目录下cd /export/software/上传spark-2.3.2-bin-hadoop2.7.tgzrz查看ls解压安装包tar -zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /export/servers/进入解压后的目录cd /export/servers/查看ls重命名mv spark-2.

十二、Spark HA集群部署1. 修改spark-env.sh配置文件进去spark-env.sh目录后，把原先的export SPARK_MASTER_HOST=hadoop01用#注释掉，并添加vi spark-env.shexport SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03

九、HBase集群部署9.1 安装HBase软件1.上传HBasecd /export/softwarerzls2. 解压HBasetar -vxzf hbase-1.2.1-bin.tar.gz -C /export/servers/查看cd /export/servers/ls9.2 修改配置文件1.将/Hadoop-2.7.4/etc/hadoop目录下的hdfs-site.xml和core-site.xml配置文件复制到/hbase-1.2.1/conf目

八 、Zookeeper分布集群部署8.1 安装Zookeeper上传zookeepercd /ezport/software/rz2. 解压zookeepertar -zxvf zookeeper-3.4.10.tar.gz -C /export/servers/8.2 配置Zookeeper相关配置跳转到解压目录下conf文件cd /export/serverslscd zookeeper-3.4.10/lscd conf/ls2. 复制zoo

七、 测试Hadoop集群-单词统计1. Ip映射进入到Windows/System32/drivers/etc目录下打开hosts文件添加192.168.121.134 hadoop01192.168.121.135 hadoop02192.168.121.136 hadoop032. 关闭防火墙三个服务器都关闭防火墙和关闭开机启动service iptables stop检查chkconfig iptables off3. 再次启动hdfs和yarn进程start-

六、Hadoop的集群和开启及关闭6.1 单节点逐个启动和关闭主节点输入命令运行脚本启动进程：hadoop-daemon.sh start namenode2. 启动从节点进程：hadoop-daemon.sh start datanode查看java相关的进程在hadoop02和hadoop03也执行命令开启hdfs从节点3. 在主节点上启动yarn的主节点和从节点在hadoop02和hadoop03也执行命令开启yarn从节点4. 在hadoop02运行

五、格式化文件系统5.1 格式化在hadoop的任何一个目录下都可以运行命令：hdfs namenode -format或hadoop namenode -format注意：格式化文件系统只在第一次启动hdfs集群时执行

四、Hadoop集群部署4.1 JDK安装1 安装rlzsz软件使用命令挂载光盘：mount /dev/cdrom /mnt打开：/mnt/Packagescd /mnt/Packages安装软件: lrzsz-0.12.20-27.1.el6.x86_64.rpmrpm –ivh lrzsz-0.12.20-27.1.el6.x86_64.rpm2 JDK安装跳转到安装目录上传cd /export/software/rz3. 解压和重命名解压命令：tar -zx

三、SSH服务配置3.1查看安装并开启SSH服务通过命令安装SSH：yum install openssh-server命令行输入rpm –qa | grep ssh查看是否安装SSH启动SSH服务ps –e | grep sshd使用Xshell工具远程连接服务器打开文件-新建在连接中填写主机号，端口号选择22...

二、网络配置2.1 修改虚拟机网络配置查看VMware服务是否都在运行打开虚拟机-编辑-虚拟网络编辑器，选择NAT模式点击更改设置-将子网IP改成192.168.121.0打开NAT设置，将网关改成192.168.121.2打开DHCP设置，设置起始IP和结束IP2.2修改Windows网络配置打开“网络和Internal”配置，打开以太网，更改适配器选项选择VMnet8-属性-IPv4协议属性修改2.3配置主机名1.将复制的hadoop02和hadoop03的主

虚拟机安装(一)前置：安装vmware1.1安装虚拟机-Linux点击新建虚拟机，选择自定义虚拟机兼容性默认即可客户机操作系统选择稍后安装操作系统选择客户机操作系统选择Linux，版本我选择了Red Hat Enterprise Linux 6 64位选择虚拟机位置和名称处理器配置把每个处理器的内核数量改为2设置虚拟机内存使用NAT网络控制器类型选择推荐磁盘类型选择推荐创建新虚拟磁盘磁盘容量大小50GB（要大一些，不然集群处理时因磁盘太小进入安全模式）

执行 source /etc/profile 报：-bash: expor: command not found -bash: rt: command not found出现了这种问题主要是配置里少写了一个t 【od 解决 一般问题都在export path这】使用vi /etc/profile，查看export是否完整，因为复制的时候可能只剩下expor或者rt，这时需要将它们补充完整，保存退出，再重新执行source /etc/profile就可以了vi /etc/profilesourc