qq_18532033的博客

awk '{split($3,date,"-");if(date[2]=="01"){name[$1]+=$5}} END{for(i in name){print i "\t" name[i]}}' awk.txt awk '{ split($3,date,"-"); if(date[2]==&

在HDFS-HA的基础上搭建 etc/hadoop/mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn&am

目标平台：Cnetos6.8 要求：默认关闭防火墙，禁用selinux，网络正常，配置计算机名称 上传hadoop的tar包和jdk的rpm包 rpm -ivh jdk-8u172-linux-x64.rpm tar -zxf hadoop-3.1.1.tar.gz -C/opt 免密钥登录 $ ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa $ cat ~/.s...

Hive 内部表 CREATE TABLE [IF NOT EXISTS] table_name 删除表时，元数据与数据都会被删除 Hive 外部表 CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name LOCATION hdfs_path 删除外部表只删除metastore的元数据，不删除hdfs中的表数据 CREATE TABLE perso...

Hive 分区partition 必须在表定义时指定对应的partition字段 a、单分区建表语句： create table day_table (id int, content string) partitioned by (dt string); 单分区表，按天分区，在表结构中存在id，content，dt三列。 以dt为文件夹区分 b、 双分区建表语句： create table da...

Hive DML LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

启动集群的脚本 #/bin/bash for node in node002 node003 node004 do ssh $node "source /etc/profile; zkServer.sh start;" done start-dfs.sh ssh node003 "source /etc/profile; start-yarn.sh;&a

Spark中文指南(入门篇)-Spark编程模型(一) 前言 本章将对Spark做一个简单的介绍，更多教程请参考：Spark教程 本章知识点概括 Apache Spark简介 Spark的四种运行模式 Spark基于Standlone的运行流程 Spark基于YARN的运行流程 Apache Spark是什么？ Spark是一个用来实现...

public static void main(String[] args) throws InterruptedException { // 连接redis服务器，localhost:6379 Jedis redis = new Jedis("dev-machine", 6379); while (true) { Set<String> keys = redi...