大数据
Yuniko悦
这个作者很懒,什么都没留下…
展开
-
Hadoop集群搭建 HA
Hadoop集群搭建 HA下载hadoop-2.7.1包将 hadoop2.4.1 上传解压tar -zxvf ./hadoop-2.7.1.tar.gz修改hadoop环境变量export HADOOP_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el6_10.x86_64export PATH=PATH:PATH...原创 2019-08-07 15:38:21 · 127 阅读 · 1 评论 -
azkaban的安装
安装 azkaban解压 azkaban-2.5.0.zip需要下载unzip得到azkaban的三个包调度工作流和任务azkaban-executor-server-2.5.0.tar.gz数据库支持azkaban-sql-script-2.5.0.tar.gzwebUIazkaban-web-server-2.5.0.tar.gz分别解压三个包tar -zxvf...原创 2019-08-20 21:02:45 · 151 阅读 · 0 评论 -
azkaban的使用
azkaban的使用第一个azkaban在azkaban总目录下创建jobs的文件夹存放所有的job写一个.job(必须以.job结尾)#first jobtype=commandcommand=echo ‘yuniko 这样的人’将first .job文件添加成zip格式zip azk1.zip fist.job发送到web ui并运行可以在webUI中设置执行任...原创 2019-08-20 21:01:16 · 136 阅读 · 0 评论 -
配置虚拟机ip
配置虚拟机ip检查网络适配器 为NAT共享主机的IP地址设置VMnet8 为NAT模式进入NAT设置查看网关网关 192.168.248.2进入DHCP设置 查看网络信息开始ip 192.168.248.128 结束ip 192.168.248.254子网掩码 255.255.255.0配置网络输入命令 vi /etc/sysconfig/network-scripts...原创 2019-08-07 15:47:46 · 197 阅读 · 0 评论 -
azkaban的安装
安装 azkaban解压 azkaban-2.5.0.zip需要下载unzip得到azkaban的三个包调度工作流和任务azkaban-executor-server-2.5.0.tar.gz数据库支持azkaban-sql-script-2.5.0.tar.gzwebUIazkaban-web-server-2.5.0.tar.gz分别解压三个包tar -zxvf...原创 2019-08-07 15:46:57 · 134 阅读 · 3 评论 -
Yum安装jdk
使用 yum 安装jdk安装jdksudo yum install -y java-1.8.0-openjdk*查看版本java -version配置java环境变量vi /etc/profile // 需要修改 文件写权限 sudo chomd u+w /etc/profile:#set java environment JAVA_HOME=/usr/lib/jvm/...原创 2019-08-07 15:45:11 · 188 阅读 · 1 评论 -
Zookeeper集群的搭建
Zookeeper的集群配置解压zookeeper包创建指定文件夹执行 myid/home/hadoop/zookeeper-3.4.7/zookeepermyid创建一个myid文件 写入1修改配置文件 名cp zoo_sample.cfg zoo.cfgzoo.cfg配置如下#The number of milliseconds of each ticktickTim...原创 2019-08-07 15:44:09 · 122 阅读 · 2 评论 -
SSH免密登录配置
SSH免密配置登录进入到hadoop用户家目录cd ~查看当前目录.ssh 隐藏文件ls -al进入sshcd .ssh执行命令生成私钥id _rsa 公钥 id_rsa.pubssh-keygen -t rsa将公钥内容放入hadoop1的authorized_keys 文件ssh-copy-id hadoop1将公钥内容放入到需要免密进行的机器 ha...原创 2019-08-07 15:42:12 · 109 阅读 · 1 评论 -
Hbase的集群搭建
Hbase的集群安装文章目录Hbase的集群安装对应关系解压Hbase的包配置环境变量文件 hbase-env.sh修改hbase设置文件 hbase-site.xml修改regionservers创建 backup-mastersConf 文件添加分发节点以及配置环境变量启动hbase查看指定进程访问web ui对应关系检查hbase与jdk版本的对应关系[外链图片转存失败(img-...原创 2019-08-07 15:41:19 · 127 阅读 · 0 评论 -
Spark集群搭建
Spark单点Master 三点 Worker 配置解压sparktar -xzvf ./spark-1.6.2-bin-hadoop2.6.tgz进入conf文件目录重命名spark-env.shcd ./conf/mv spark-env.sh.template spark-env.sh修改配置 spark-env.sh在其中添加环境变量export JAVA_HOME...原创 2019-08-21 09:13:43 · 140 阅读 · 0 评论