qq_40595055的博客

shuffleshuffle过程中的几个名词：shuffle：洗牌；spill：溢出；combiner：合成；merge：融入混合；copy:复制shuffle的使用地点：发生在map task输出结果传送到reduce task 输入的阶段使用shuffle的好处：在从map task端拉取数据到reduce task端时，减少宽带的消耗，将数据完整的从map task端拉取数据到re...

首先到官方下载官网的hadoop2.7.7,链接如下https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/找网盘的hadooponwindows-master.zip链接如下https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw提取码：y9a4把hadoop-2.7.7.tar.gz解...

win10配置hadoop的时候

一堆

首先确定是否安装JDKjava -verson 查看然后 Java -verbose 查看jdk位置另外 当我们在配置文件的时候如果忘记jdk位置 则可以直接在vim 文件 上直接 echo $JAVA_HOME然后 enter 就会输出jdk位置...

[xxxx@xxxx~]$ ls -abash: ls: command not found…Similar command is: ‘lz’[xxxx@xxxx~]$ ll -abash: ls: command not found…Similar command is: ‘lz’[xxxx@xxxx~]$ ls -a ~/bash: ls: command not found…...

1 概述HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表，而真正的数据是存储在DataNode上。对于NameNode如何存储这些信息，它维护两个文件，一个是fsimage，一个是editlog。2 fsimage与editlog作用fsimage保存了最新的元数据检查点，在HDFS启动时加载f...

intellij IDEA中 introduce local variable 快捷键自动补全解决：Alt+Enter 就会弹出如下界面 选择后 便可以自动补全

解决方案：将IntelliJ IDEA中File | Settings | Build, Execution, Deployment | Compiler中勾选build project automatically即可

在Eclipse中输出System.out.println()的快捷键是sysout+Alt+/ 但是在IDEA中是不一样的IDEA中System.out.println()的快捷键为 sout+Enter

starting network (via systemctl): Job for network.service failed because the control process exited with error code. See “systemctl status network.service” and “journalctl -xe” for details.解决方案：xxx...

今天在操作数据库时遇到了oracle的报错，错误类型为ORA-00978/ORA-00937，经与同事讨论研究之后发现一个特别容易犯错的点。首先，我的目的是从一个表中取出一列数值，然后对这一列数值进行求和并平均取数SQL为：select b.vendor from t_cm_networknode b where b.vendor is not null求和并平均SQL为：select av...

Kettle Unable to create the database cache到系统用户目录下的 .kettle删除 db.cache*文件即可，再重新启动Kettle

redis集群添加删除节点Redis3.0集群添加节点1：首先把需要添加的节点启动cd /usr/local/cluster/mkdir 7006cp /usr/local/cluster/redis.conf /usr/local/cluster/7006/cd /usr/local/cluster/7006/vi redis.conf##修改redis.conf中的port参...

Thread.currentThread().interrupt(); //获得当前线程 关闭线程 System.exit(0);//关闭进程

import java.util.Comparator;import java.util.Map;public class MapValueComparator<T extends Comparable<T>> implements Comparator<String> { private Map<String, T> map = n...

INSERT INTO road(road_id,road_name)SELECT 10345, 'IBM'FROM dualWHERE not exists (select * from roadwhere road.road_id = 10345);

查看表中已经存在 index：show index from table_name;创建和删除索引索引的创建可以在CREATE TABLE语句中进行，也可以单独用CREATE INDEX或ALTER TABLE来给表增加索引。删除索引可以利用ALTER TABLE或DROP INDEX语句来实现。（1）使用ALTER TABLE语句创建索引。语法如下：alter table table_...

fileclear.shtamcdir=${HOME}/ora/user_projects/domains/tamccd ${tamcdir}echo rm -f ls heapdump*.phdrm -f heapdump*.phdecho rm -f ls javacore*.txtrm -f javacore*.txtecho rm -f ls Snap*.trcrm -f ...