hadoop
weixin_44617428
这个作者很懒,什么都没留下…
展开
-
ODS DW DM
这两天接触到ODS,开始很纳闷,有了DW(Data Warehouse)干嘛还要ODS(Operational Data Store),于是不查不知道,一查吓一跳,这里面还有这么多道道,这里总结一下,当作学习了。简单说:DW数据仓库存储是一个面向主题的,反映历史变化数据,用于支撑管理决策。ODS操作型数据存储,存储的是当前的数据情况,给使用者提供当前的状态,提供即时性的、操作性的、集成的...转载 2019-10-21 20:19:26 · 145 阅读 · 0 评论 -
scala入门
变量命名规则package cn.tedu.scalaobject VarNameDemo {def main(args: Array[String]): Unit = {// 标识符的命名规则// 1. 可以使用字母、数字、_以及$// 2. _不能结尾// 3. 数字不能开头var a2_$: String = "abc"// 4. 允许使用其他符号作为标识符// 如果使用...原创 2019-10-17 21:25:31 · 117 阅读 · 0 评论 -
hbase api入门操作
package cn.tedu.hbase;import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import java.util.function.Consumer;import org.apache.hadoop.conf.Confi...原创 2019-10-15 20:01:20 · 107 阅读 · 0 评论 -
hbase基本语法
1.基本概念1.1 rowkey行键:1.1.1不属于任何列族1.2 column family 列族:1.2.1 一个表中至少有一个列族,建议不超过3个1.2.2 列族创建表指定后就不能更改1.2.3 列必须属于某个列族,列可以动态增删2 namespace2.1 相当于数据库里的库(目的:创建相同的表名称放到不同的命名空间中)2.2 创建表没有指定namespace 就放在d...原创 2019-10-14 18:19:36 · 338 阅读 · 0 评论 -
自定义flume收集日志格式
日志文件格式(说明:两行日志是一条数据)[2019-10-10 09:42:53]hello world[2019-10-10 09:43:53]hello text[2019-10-10 09:44:53]hello hello1.代码实现package cn.tedu.source;import java.io.BufferedReader;import java.io.F...原创 2019-10-10 09:45:56 · 599 阅读 · 0 评论 -
查找隐藏好友
1.文件tom rosetom jimtom smithtom lucyrose tomrose lucyrose smithjim tomjim lucysmith jimsmith tomsmith rose2.第一个mapreduce 统一输出格式,并推测好友当前好友内的关系2.1 relationMapper.javapackage cn.tedu.relat...原创 2019-10-10 09:32:39 · 351 阅读 · 0 评论 -
统一单词在那个文件里出现过
a b c d a.txtb c d e b.txta c d f c.txt1.InvertMapper.java 获取文件名 分解单词package cn.tedu.invert;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text...原创 2019-09-30 19:03:08 · 74 阅读 · 0 评论 -
先按月份进行排序,如果月相同按照业绩排序
profit3.txt2 tom 3451 rose 2351 tom 2342 jim 5723 rose 1231 jim 3212 tom 5733 jim 8763 tom 6481.Profit.java 定义对象并进行排序package cn.tedu.sortprofit;import java.io.DataInput;import java.io.Dat...原创 2019-09-30 18:51:39 · 976 阅读 · 0 评论 -
依照分数进行排序
按照 分数进行排序a 100b 1000c 99d 87e 891.封装到一个对象package cn.tedu.authinput;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;impor...原创 2019-09-30 18:43:59 · 239 阅读 · 0 评论 -
自定义mapreduce输入key value
score3.txtjimmath 67english 68alexmath 90english 98lilimath 69english 881.AuthInputFormart.java 定义输入key valuepackage cn.tedu.authinput;import java.io.IOException;import java.io.InputStrea...原创 2019-09-30 17:50:50 · 305 阅读 · 0 评论 -
hadoop namenode管理命令
namenode集群管理命令hdfs haadmin -transitionToActive <serviceId> [--forceactive]将给定NameNode的状态转换为Activehdfs haadmin -transitionToStandby <serviceId>定给定的NameNode是Active还是Standbyhdfs haadmi...原创 2019-09-26 12:40:34 · 604 阅读 · 0 评论