大数据学习
coder.yang
这个作者很懒,什么都没留下…
展开
-
awk指令
awk '{split($3,date,"-");if(date[2]=="01"){name[$1]+=$5}} END{for(i in name){print i "\t" name[i]}}' awk.txtawk '{ split($3,date,"-"); if(date[2]==&原创 2019-02-27 16:44:41 · 242 阅读 · 0 评论 -
ResourceManager-HA搭建
在HDFS-HA的基础上搭建etc/hadoop/mapred-site.xml:<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn&am原创 2019-02-23 21:57:36 · 146 阅读 · 0 评论 -
伪分布式搭建
目标平台:Cnetos6.8要求:默认关闭防火墙,禁用selinux,网络正常,配置计算机名称上传hadoop的tar包和jdk的rpm包rpm -ivh jdk-8u172-linux-x64.rpmtar -zxf hadoop-3.1.1.tar.gz -C/opt免密钥登录$ ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa$ cat ~/.s...原创 2019-02-19 23:05:43 · 159 阅读 · 0 评论 -
hive SQL操作
Hive 内部表CREATE TABLE [IF NOT EXISTS] table_name删除表时,元数据与数据都会被删除Hive 外部表CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name LOCATION hdfs_path删除外部表只删除metastore的元数据,不删除hdfs中的表数据 CREATE TABLE perso...原创 2019-03-14 17:12:56 · 148 阅读 · 0 评论 -
hive 分区
Hive 分区partition必须在表定义时指定对应的partition字段a、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区,在表结构中存在id,content,dt三列。以dt为文件夹区分b、 双分区建表语句:create table da...原创 2019-03-14 17:20:05 · 194 阅读 · 0 评论 -
Hive DML
Hive DMLLOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]原创 2019-03-14 17:34:02 · 120 阅读 · 0 评论 -
shell脚本 启动关闭 hadoop2.6.5集群
启动集群的脚本#/bin/bashfor node in node002 node003 node004do ssh $node "source /etc/profile; zkServer.sh start;"donestart-dfs.shssh node003 "source /etc/profile; start-yarn.sh;&a原创 2019-03-14 20:09:50 · 1437 阅读 · 1 评论 -
Spark中文指南(入门篇)-Spark编程模型(一)
Spark中文指南(入门篇)-Spark编程模型(一) 前言 本章将对Spark做一个简单的介绍,更多教程请参考:Spark教程 本章知识点概括Apache Spark简介Spark的四种运行模式Spark基于Standlone的运行流程Spark基于YARN的运行流程Apache Spark是什么?Spark是一个用来实现...转载 2019-04-19 10:17:22 · 315 阅读 · 0 评论 -
遍历reids中的所有key、value、ttl
public static void main(String[] args) throws InterruptedException { // 连接redis服务器,localhost:6379 Jedis redis = new Jedis("dev-machine", 6379); while (true) { Set<String> keys = redi...原创 2019-09-01 15:24:26 · 610 阅读 · 0 评论