dengdun2029-CSDN博客

转载个人博客

博客不会再更新，博客新地址：http://myclusterbox.com/转载于:https://www.cnblogs.com/codeOfLife/p/10011577.html

2018-11-24 12:02:00 284

转载 hive优化总结

一、表设计合理分表合理设计表分区，静态分区、动态分区二、扫描相关 1、谓词下推（Predicate Push Down） 2、列裁剪（Column Pruning）在读数据的时候，只关心感兴趣的列，而忽略其他列对于查询：select a,b from src where e < 10 ...

2017-09-05 23:29:00 243

转载基于hdp2.5升级phoenix版本为4.8

hdp2.5自带的phoenix是4.7的，而客户的驾驶舱项目跑在4.7的phoenix上是有问题的，如：如果表中没有数据，执行select count(*) from 表，返回的是空，这时导致驾驶舱项目报错误。所以决定升级phoenix版本为4.8，过程如下1、在ambari中关闭Hbase、Ambari Metrics2、备份原来的phoenix mv p...

2017-09-02 23:35:00 286

转载 Hive Compiler过程

　　通过Parser将HiveQL转换成AST，通过Semantic Analyzer将AST转换为QB，通过Logical Plan Generator将QB转换成Operator Tree，通过Logical Optimizer对Operator Tree进行优化，通过Physical Plan Generator将Operator Tree转换为Tast Tree，最后通过Ph...

2017-08-27 12:30:00 298

转载 hive介绍

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce、Tez任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive将元数据存储在数据库（RDBMS）中，比如My...

2017-08-27 12:25:00 97

转载为女票写的计算工作时间的SQL（二）

将非工作时间、非工作日、节假日去掉，计算工作时间，如下：一、实现-- 节假日表CREATE TABLE Holiday( id INT(10) DEFAULT 0 NOT NULL, DATE DATETIME(6), flag INT(1) DEFAULT 0, PRIMARY KEY (id));-- 向节假日表中插入数据...

2017-08-23 23:18:00 84

转载 mysql实现topN top1

　　有时会碰到一些需求，查询分组后的最大值，最小值所在的整行记录或者分组后的top n行的记录，像在hive中是有窗口函数的，可以通过它们来实现，但是MySQL没有这些函数，可通过下面的方法来实现1、准备create table `test1` ( `id` int(11) not null auto_increment, `name` varchar(20) d...

2017-08-22 11:11:00 2122

转载 Phoenix的数据类型和操作符、函数

其实官方文档已经有这些东西了，如下：http://phoenix.apache.org/language/functions.htmlhttp://phoenix.apache.org/language/index.html不过官网的某些编排确实有点反人类的意味，比如为了拼接一个字符串，我硬是找了老半天最终才找到，所以还是稍微整理一下。数据类型：1、数...

2017-08-21 14:44:00 83

转载在sql中根据成绩显示学生排名

1、准备 1 create table newtable 2 ( 3 name VARCHAR(100), 4 yuwen INT(10), 5 shuxue INT(10) 6 ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 7 8 9 INSERT INTO newtable (name, yuwen...

2017-08-21 12:51:00 140

转载在sql结果中显示行号

1、准备 1 create table newtable 2 ( 3 name VARCHAR(100), 4 MONEY INT(10) 5 ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 6 7 8 INSERT INTO newtable (name, money) VALUES ('张三', 30...

2017-08-21 09:13:00 373

转载 phoenix常用命令

1、登录命令　　./sqlline.py localhost:2181:/hbase-unsecure phoenix-sqlline localhost:2181:/hbase-unsecure2、退出 !quit !exit 3、帮助 4、列出metadata信息5、创建表cr...

2017-08-20 10:53:00 310

转载安装atlas后执行hive命令报错

在集群中安装atlas，在安装atlas的节点上执行hive -e "show databases;" 正常，但是在集群中其他节点上执行hive -e "show databases;" 命令报如下错误一、分析在安装atlas节点上和没有安装atlas的节点上分别再次执行hive --hiveconf hive.root.logger=DEBUG,conso...

2017-08-19 10:46:00 206

转载 phoenix系统创建语句

CREATE TABLE SYSTEM."CATALOG"( TENANT_ID VARCHAR NULL, TABLE_SCHEM VARCHAR NULL, TABLE_NAME VARCHAR NOT NULL, COLUMN_NAME VARCHAR NULL, COLUMN_FAMILY VARCHAR NULL, ...

2017-08-17 19:17:00 124

转载函数式接口

函数式接口定义1、如果一个接口只有一个抽象方法，那么该接口就是一个函数式接口2、如果我们在某接口上声明了FunctionalInterface注解，那么编译器就会按照函数式接口的定义来约束该接口3、如果某个接口只有一个抽象方法，但我们并没有给该接口声明FunctionalInterface注解，那么编译器依旧会将该接口看作是函数式接口4、函数式接口的实例可以通过lambd...

2017-07-13 23:29:00 66

转载为女票写的计算工作时间的SQL

排除非工作时间、非工作日后，计算工作时间，代码如下：-- 删除函数DROP FUNCTION IF EXISTS calculateWorkingTime;set @workStartTime='09:30:00'; set @workEndTime='18:30:00'; -- 创建函数--/CREATE FUNCTION calculateWo...

2017-05-29 19:13:00 77

转载 4个著名VCS的比较

特征CVSGitMercurialSubversion是否原子提交CVS: 没有. CVS提交不是原子的Git: 是的. 提交都是原子的Mercurial: 是的Subversion: 提交都是原子的文件和目录是否可以移动或重命名CVS: 不是. 重命名不支持. 如果手动进行, 可能会损坏历史记录Git: 支持重...

2017-05-11 16:45:00 126

转载数据集(三)

1、http://apachespark.devpost.com/details/resources ，这个是全球网站上的数据集，包括Yelp（北美的大众美团），亚马逊Amazon Review Graph等2、http://research.mapillary.com/，近日Mapillary发布了Mapillary Vistas数据集 - 世界上最大和最多样化的公众可用的像素精确...

2017-04-29 21:00:00 209

转载数据集(二)

1、气候监测数据集http://cdiac.ornl.gov/ftp/ndp026b2、几个实用的测试数据集下载的网站 Data for MATLAB hackers（Handwritten Digits、Faces、Text） http://www.cs.toronto.edu/~roweis/data.html3、UCI KDD Archive(各类数据集...

2017-04-27 13:40:00 947

转载数据集(一)

转载：http://www.cnblogs.com/bobomouse/archive/2007/05/26/760513.html1、气候监测数据集http://cdiac.ornl.gov/ftp/ndp026b2、几个实用的测试数据集下载的网站http://www.cs.toronto.edu/~roweis/data.htmlhttp://www.cs.tor...

2017-04-27 13:33:00 130

转载重新格式化namenode后，出现java.io.IOException Incompatible clusterIDs

错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clusterID = CID-ff0faa40-2940-4838-b321-98272eb0de...

2016-10-08 23:44:00 165

转载启动hadoop，报错Error JAVA_HOME is not set and could not be found

报如错误：JAVA_HOME is not set and could not be found，可能是因为JAVA_HOME环境没配置正确，还有一种情况是即使各结点都正确地配置了JAVA_HOME，但在集群环境下还是报该错误，解决方法是显示地重新声明一遍JAVA_HOME 1、检查JAVA_HOME是否配置正确（伪分布式环境）启动s...

2016-10-08 23:43:00 378

转载 hadoop错误org.apache.hadoop.yarn.exceptions.YarnException Unauthorized request to start container

错误： 14/04/29 02:45:07 INFO mapreduce.Job: Job job_1398704073313_0021 failed with state FAILED due to: Application application_1398704073313_0021 failed 2 times due to Error launching appatte...

2016-10-08 23:40:00 545

转载 hadoop错误org.apache.hadoop.util.DiskChecker$DiskErrorException Could not find any valid local directo...

错误： org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for原因：两种可能，hadoop.tmp.dir或者data目录存储空间不足解决办法：看了一下我的dfs状态，data使用率不到40%，所以推测是...

2016-10-08 23:39:00 1604

转载 hadoop错误org.apache.hadoop.mapred.TaskAttemptListenerImpl Progress of TaskAttempt

错误： org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt原因：错误很明显，磁盘空间不足，但郁闷的是，进各节点查看，磁盘空间使用不到40%，还有很多空间。郁闷很长时间才发现，原来有个map任务运行时输出比较多，运行出错前，硬盘空间一路飙升，直到100%不够...

2016-10-08 23:37:00 2208

转载 hadoop错误org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2

错误： org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2java.io.IOException: Spill failed错误原因：本地磁盘空间不足非hdfs (我是在myeclipse中调试程序，本地tmp目录占满)解决办法：清理、增加空间。如果，您...

2016-10-08 23:36:00 199

转载 hadoop错误Operation category READ is not supported in state standby

报如下错误解决方法: 方法一:(结果不起作用) 通过Shell命令方式，hadoop/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1(注意,这种方式本来是在手动故障恢复中进行强制切换NameNode的做法)返回结果,不支持,并且诚恳的提示,这种方式是在手动故障转移的情况下,...

2016-10-08 23:35:00 429

转载 hadoop错误java.io.IOException Failed to replace a bad datanode on the existing pipeline due to no more...

错误： java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try原因：无法写入；我的环境中有3个datanode，备份数量设置的是3。在写操作时，它会在pip...

2016-10-08 23:30:00 864

转载 hadoop错误INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using...

报如下错误：解决方法：1、增加调试信息在HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中添加如下信息 2、再执行一次操作，看看报什么错误上面信息显示，需要2.14的glibc库解决方法： 1、查看系统的libc版本（ll /lib6...

2016-10-08 23:28:00 77

转载 hadoop错误Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bd...

1、错误 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException: Spill failed2、原因本地磁盘空间不足非hdfs (我是在myeclipse中调试程序，本地tmp目录占满)3、解决 ...

2016-10-08 23:19:00 253

转载 hadoop错误FATAL org.apache.hadoop.hdfs.server.namenode.NameNode Exception in namenode join java.io.IOE...

错误： FATAL org.apache.hadoop.hdfs.server.namenode.NameNode Exception in namenode join java.io.IOException There appears to be a gap in the edit log原因： namenode元数据被破坏，需要修复解决：恢复一...

2016-10-08 23:17:00 419

转载 hadoop错误ERROR namenode.NameNode (NameNode.javamain(1657)) - Failed to start namenode java.net.BindEx...

解决方法： 1、通过lsof -i:50070（lsof可以通过yum install lsof安装）查看，发现是mysql被占用了 2、修改mysql端口从/usr/share/mysql/my-default.cnf复制成/etc/my.cnf文件；修改/etc/my.cnf文件，如下如果，您认...

2016-10-08 23:15:00 501

转载错误ERROR datanode.DataNode (DataXceiver.java：run(278)) - hadoop07：50010DataXceiver error processing u...

原因： Ambari 每分钟会向datanode发送"ping"连接一下去确保datanode是正常工作的.否则它会触发alert。但是datanode并没有处理空内容的逻辑,所以直接异常了解决办法：这个可以忽略，或者使用 https://issues.apache.org/jira/browse/HDFS-8738里的patch 如果，...

2016-10-08 23:11:00 337

转载 hadoop错误DataXceiver error processing WRITE_BLOCK operation

错误： DataXceiver error processing WRITE_BLOCK operation原因：文件操作超租期，实际上就是data stream操作过程中文件被删掉了。解决办法：修改hdfs-site.xml （针对2.x版本，1.x版本属性名应该是：dfs.datanode.max.xcievers）： <pr...

2016-10-08 23:09:00 1782

转载 hadoop错误Could not obtain block blk_XXX_YYY from any node：java.io.IOException：No live nodes contain c...

错误： 10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new bl...

2016-10-08 23:08:00 757

转载 hadoop错误Cannot load libsnappy.so.1 (libsnappy.so.1 cannot open shared object file No such file or di...

报如下错误解决方法： 1、下载libsnappy.so.1（https://yunpan.cn/cSHRHTBJGVVX6 访问密码 c992） 2、上传到linux系统 3、安装　　 4、安装完成后，再去检查，效果如下　　　　如果，您认为阅读这篇博客让您有些收获...

2016-10-08 23:05:00 619

转载 hadoop错误Cannot load libcrypto.so (libcrypto.so cannot open shared object file No such file or direct...

报如下错误解决方法： 1、使用hadoop checknative –a命令检查，报如下错误　　　　 2、使用如下命令建立libcrypto.so文件的符号链接　　　　如果，您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】。如果，您希望更容易地发现我的新博客，不妨点击一下左下角的【关注我】。...

2016-10-08 23:02:00 826

转载 CentOS 7.2 修改主机名

1、临时修改主机名 hostname 主机名重新连接shell，就可以，这种方式，只能修改临时的主机名，当重启机器后，主机名称又变回来了。2、永久修改主机名 hostnamectl set-hostname <hostname> reboot，重启系统重新连接shell，使用这种方式修改，可以永...

2016-10-06 16:59:00 112

转载 dell笔记本通过uefi+gpt模式安装win10系统

安装前，需要确认dell笔记本是否支持uefi 1、使用UltraISO制作硬盘镜像后，过程如下1)选择“文件”-》“打开”，如下2)在打开的对话框中，选择win10系统，如下3)单击“确定”后，如下4)选择“启动”-》“写入硬盘镜像”，如下5)打开如下界面，设置写入方式是USB-HDD+，建议选择“便捷启动”-》“写入新的驱动器引...

2016-10-06 14:42:00 1377

转载使用Java辅助类(CountDownLatch、CyclicBarrier、Semaphore)并发编程

在java 1.5中，提供了一些非常有用的辅助类来帮助我们进行并发编程，比如CountDownLatch，CyclicBarrier和Semaphore，今天我们就来学习一下这三个辅助类的用法一、CountDownLatch用法 CountDownLatch类位于java.util.concurrent包下，利用它可以实现类似计数器的功能。比如有一个任务A，它要等待其他4个...

2016-07-20 11:39:00 72

转载 MapReduce中的map个数

在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数（split个数）的主要因素有： 1) 文件的大小。当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个split；当块为256m，会被划分为2个split。 2) 文件的个数。FileInputForm...

2016-07-16 16:33:00 292

空空如也

空空如也