大数据环境安装配置
子秦1117
大数据学员,软件功能测试人员
展开
-
采用Ansible配置集群节点
采用Ansible配置ssh和jdkAnsible简介安装Ansible配置ssh和jdk1. 创建Ansible配置文件ansible.cfghostsvars/main.ymljdk.ymlssh.yml运行Ansible命令配置集群ssh配置集群jdkAnsible简介Ansible 是基于 Python 语言开发的,主流的自动化运维管理工具,其余的工具还有Puppet和Saltstack。Ansible只需要在一台普通的服务器上运行即可,不需要在客户端服务器上安装客户端。因为 Ansible原创 2020-06-27 16:02:57 · 953 阅读 · 0 评论 -
利用Spark2.2.0源码编译生成适合于CDH5.14.4的Spark包
1. 不使用预编译版本安装包的原因:因为开源版本的组件如Hadoop、HBase、flume等等配合使用时可能会有jar包的冲突,所以下载相应的CDH版本进行安装。因为Spark的预编译版本如 spark-2.2.0-bin-hadoop2.6.tgz spark-2.2.0-bin-hadoop2.7.tgz,可能存在小版本的兼容问题。所以下载Spark2.2的源码,然后进行编译安装。2....原创 2019-03-14 10:37:55 · 550 阅读 · 0 评论 -
6--安装Hbase 1.2.4
1. 解压tar -xf Downloads/hbase-1.2.4-bin.tar.gz -C ~/2. hbase-env.shexport JAVA_HOME=/usr/java/jdk1.8/export HBASE_MANAGES_ZK=false # Tell HBase whether it should manage it's own instance o转载 2018-07-11 11:37:54 · 331 阅读 · 0 评论 -
8--安装kafka_2.10-0.10.2.0集群(三个节点)
1. tar –zxvf kafka_2.10-0.10.0.1.tgz2. 配置(config/server.properties)1) master 节点上broker.id=0zookeeper.connect=master:2181listeners=PLAINTEXT://master:9092advertised.listeners=PLAINTEXT:原创 2017-08-12 01:17:01 · 940 阅读 · 1 评论 -
3--安装Hadoop 2.7.3
1. 解压tar -xf hadoop-2.7.3.tar.gz 2.创建目录3. 修改配置文件的JAVA_HOME4. 配置core-site.xml5. 配置hdfs-site.xml6. 编辑mapred-site.xml7. 编辑yarn-site.xml8. 编辑slaves9. 复制到其他节点10.配置各节点环境变量11.集群启动1)原创 2017-08-09 14:25:08 · 711 阅读 · 0 评论 -
大数据组件安装准备工作2--再次配置已安装好的虚拟机
1. 关闭防火墙,关闭SELINUX2. 配置时间同步3. 安装JDK4. 拷贝虚拟机以创建其他节点5. 配置host6. 配置SSH免密登录原创 2016-12-16 23:20:46 · 327 阅读 · 0 评论 -
8--安装storm 0.9.6
1. 解压: tar -xf Downloads/apache-storm-0.9.6.tar.gz -C ./2. 创建 data 路径cd apache-storm-0.9.6/mkdir data3. 配置环境变量vim ~/.bash_profileexport STORM_HOME=/home/zkpk/storm-0.9.7exp转载 2017-02-08 10:33:32 · 587 阅读 · 0 评论 -
1--zookeeper安装
1. 解压2. 配置data、log、out路径和server3. 创建目录4. 复制zookeeper到其他节点5. 配置环境变量6. 逐个启动验证转载 2018-07-11 13:14:38 · 172 阅读 · 0 评论 -
12--配置IDEA远程调试Hadoop程序(Hadoop HA下)
1. 设置hdfs-site.xml试验环境下,可以把hdfs-site.xml中的dfs.permissions.enabled的值设置为false,从而关闭HDFS的访问权限限制,方便客户端远程调试。但在生产环境,不要使用此方法。2. 将core-site.xml,hdfs-site.xml,log4j.properties拷贝到代码工程的resource路径下采用Ha原创 2017-01-04 22:11:32 · 1030 阅读 · 0 评论 -
大数据组件安装准备工作1--在Virtualbox中安装Linux虚拟机
此设置是在Macbook上进行的设置1. Virtualbox虚拟机的网络设置2. 配置Virtualbox管理器,并安装linux虚拟机3. 虚拟机安装好,并启动后,进入root账户配置网络,修改机器名4. 重启虚拟机后,安装增强工具以实现虚拟机与宿主机之间的共享文件夹原创 2016-12-16 10:26:33 · 579 阅读 · 0 评论 -
2--MySQL安装
#安装配置mysqlyum install mysql-serverservice mysqld startnetstat -nplt | grep 3306#开机启动chkconfig mysqld onchkconfig --list mysqld#创建用户CREATE USER 'hadoop'@'%' IDENTIFIED BY 'hadoop'; CREATE ...转载 2018-08-22 09:48:35 · 124 阅读 · 0 评论