Dawn_WL的博客

经过官网及网上其他的资料介绍，摸索着安装，发现各种问题。现将最终的成果分享，希望帮到其他人。1、编译spark1.6.0源码，生成无hive包组件./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"2、配置hive-site.xml<configuration><!--用户名-->...

1、打开server.xml2、端口默认8080，可自定义3、尾行添加，共享webapps下所有资源<Context path="" docBase="F:\apache-tomcat-9.0.12-windows-x64\webapps" reloadable="false" />reloadable:如果这个属性设为true，tomcat服务器在运行状态下会监...

import com.google.gson.Gson;import okhttp3.*;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util....

/*maven依赖包*/<!-- https://mvnrepository.com/artifact/com.zaxxer/HikariCP --><dependency> <groupId>com.zaxxer</groupId> <artifactId>HikariCP</artifactId>...

HA机制hadoop搭建1、HA:双机集群系统简称HA(High Available)，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务...

ambari管理大数据集群，节点失去心跳，操作方法：1、在失去心跳节点打开配置vi /etc/ambari-agent/conf/ambari-agent.ini在[security]下添加force_https_protocol=PROTOCOL_TLSv1_22、关闭状态vi /etc/python/cert-verification.cfg如下：[https...

1.、查看rpm包的默认安装路径[root@localhost tmp]# rpm -qpl oracle-instantclient-sqlplus-10.2.0.5-1.x86_64.rpm/usr/bin/sqlplus64/usr/lib/oracle/10.2.0.5/client64/bin/sqlplus/usr/lib/oracle/10.2.0.5/client6...

1、redis官网地址：http://www.redis.io/2、下载源码，解压缩，编译$ wget http://download.redis.io/releases/redis-2.8.3.tar.gz$ tar xzf redis-2.8.3.tar.gz$ cd redis-2.8.3$ make3、编译完成后，在Src目录下可执行文件redis-server...

CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题，我们要先下载mysql的repo源。1. 下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2. 安装mysql-community-release-el7-5.noarch.rpm包$ sudo ...

数据迁移distcp方案概况：根据迁移的实际情况，由于数据量大、重要、迫切性，因此实施方案每一步都需严谨执行，并且当出错时清楚缺少的数据和补救的办法。具体实施计划：大的步骤分为3步，即export、distcp、import。 在export导出数据时，以时间戳作为参数，如将三个月的数据为一个单位导出，出错时，重复执行。命令案例：sudo -u hdfs hbase org.apa...

数据迁移export跨集群导出方案概况：根据迁移的实际情况，由于数据量大、重要、迫切性，因此实施方案每一步都需严谨执行，并且当出错时清楚缺少的数据和补救的办法。要点：确保两集群的mapreduce可以正常运行 开通源集群各个节点到目标集群namenode通讯具体实施计划：大的步骤分为2步，即export、import。 在export导出数据时，以时间戳作为参数，如将三个月的数...

创建表create table employee(employee_id string,name string) row format delimited fields terminated by ',' stored as textfile;加载数据： 本地数据位置： /home/dawn/usr/app/hadoopdata/hive/visition.txt'load data loc...