mvn命令package和install的区别？？？？ package是把jar打到本项目的target下，而install时把target下的jar安装到本地仓库，供其他项目使用。 当其他项目需要依靠该项目编译是，使用install。
图解SQL的inner join、left join、right join、full outer join、union、union all的区别 对于SQL的Join，在学习起来可能是比较乱的。我们知道，SQL的Join语法有很多inner的，有outer的，有left的，有时候，对于Select出来的结果集是什么样子有点不是很清楚。Coding Horror上有一篇文章,通过文氏图 Venn diagrams 解释了SQL的Join。我觉得清楚易懂，转过来。假设我们有两张表。Table A 是左边的表。Table B 是右边的表。其各...
IEDA运行项目关于log4j问题log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.li)。。 最近从eclipse转到IDEA编写代码，运行项目出现log4j警告，总结就是缺少log4j配置文件。下载下面文件并将其copy到src的main目录下，如图链接：https://pan.baidu.com/s/1dIb55YduxD1nzllx60GIqg 提取码：nqx6 copy完后，还需要在代码main函数中 添加如下一行代码（注意eclipse中不需要添加下面...
maven出现No plugin found for prefix 'help' in the current project and in the plugin groups [org.ap... 控制台输入 mvn help:system 下载相应包时 出现如下问题：No plugin found for prefix 'help' in the current project and in the plugin groups [org.apache.maven.plugins, org.codehaus.mojo] available from the repositories...
yarn开启日志聚集服务 问题描述：如果在查看日志信息出现如下问题：即日志聚集是不可用的情况时，说明我们没有正确配置日志聚集服务。只需要参照下面的步骤配置启动日志聚集服务即可。1、 日志聚集介绍MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。2、 开启日志聚集可以关闭集群，也可...
hive显示当前使用的数据库，并打印表头等相关信息 进入hive会话界面操作的时候，有时会遇到如下问题： 1.不知道当前使用的数据库名称 2.打印信息时不清楚对应字段的相关信息解决方法如下：1.进入hive安装目录的bin目录下，创建如下 .hiverc 隐藏文件。2.编辑 .hiverc文件，输入如下命令：重新启动 hive会话界面即可显示使用数据库名称 ，打...
使用Sqoop实现HIve分析结果数据入mysql库 1.将hive作业中的结果，使用sqoop 导入mysql数据库。 创建stock表并导入数据 创建stock_result表来存放stock的查询结果 自定义jar包并创建相应的函数（这一步走可以省略，可以使用hive自带的函数） 将查询结果导入stoc...
sqoop连接mysql出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure ERROR manager.CatalogQueryManager: Failed to list databasescom.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0...
Hive和HBase有哪些区别与联系及适用场景？？？ 首先还要从两者的概念入手。Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂的编程过程简化成了用SQL语言对海量数据的操作。这大大减轻了程序员的工作量。可以说，Hive的存在让海量数据的增删改查更加方便。其实从Hive的logo就可以看出H...
CentOS虚拟机的克隆 虚拟机的克隆：（1）在你要选择克隆的虚拟机上“右键”——>“管理”——>“克隆”,如下图（2）在弹出的对话框中点击“下一步”,如下图：（3）选择“虚拟机中的当前状态”，然后点击“下一步”，注意：首先要把你要克隆的这台虚拟机切换到你要克隆的那个状态，可能之前你做过很多的快照，每个快照的状态是不一样的。（4）选择“创建完整克隆”，然后点击“下一步”。（5...
MapReduce自定义输入格式 完成统计任务并输出多个文件 /*通过五大视频网站数据，分析统计节目受欢迎度注意：1-5数字和5大视频的关系：1优酷2搜狐3土豆4爱奇艺5迅雷看看*/ 第一步：定义一个电视剧热度数据的tvPlayWritable.java。package com.hadoop.MapReduce;import java.io.DataInput;import java.io.DataOutput;import...
正则表达式表 元字符 描述 \ 将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如，“\”匹配。“”匹配换行符。序列“\\”匹配“\”而“\(”则匹配“(”。即相当于多种编程语言中都有的“转义字符”的概念。 ^ 匹配输入字行首。如果设置了RegExp对象的Multiline属性...
HDFS 文件合并及上传至服务器 /* * 合并多个小文件，并传至服务器 为什么要合并？ 从存储角度：小文件占用太多NameNode元数据信息资源，NN资源利用率不高效；合并后占用NN的内存小了，NN就有更多的内存去管理更大规模的集群 从计算资源的角度：一个小文件占用一个block，一个block被一个map处理，计算资源消耗太多。合并后多个小文件占用一个block，占用的map资源少，减...
关注
