小小聪
码龄9年
关注
提问 私信
  • 博客：39,817
    39,817
    总访问量
  • 30
    原创
  • 1,527,377
    排名
  • 8
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：上海市
  • 加入CSDN时间： 2016-03-30
博客简介：

servletwjx的博客

博客描述：
记录个人工作中有用的东西
查看详细资料
个人成就
  • 获得6次点赞
  • 内容获得0次评论
  • 获得49次收藏
创作历程
  • 1篇
    2020年
  • 18篇
    2019年
  • 13篇
    2018年
成就勋章
TA的专栏
  • hive
    5篇
  • impala
    2篇
  • oracle
    1篇
  • kafka
    3篇
  • MapReduce
    12篇
  • flink
    6篇
  • hbase
    6篇
  • join
    1篇
  • spark
    2篇
创作活动更多

超级创作者激励计划

万元现金补贴，高额收益分成，专属VIP内容创作者流量扶持，等你加入！

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

spark ,hive collect_list全局保持顺序

https://www.cnblogs.com/zhnagqi-dream/p/11912317.html
原创
发布博客 2020.07.06 ·
2568 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

FlinkSQL实现WordCount

import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.table.api.Table;import org.apache.flink.table.api.TableEnvironment;import or...
原创
发布博客 2019.09.26 ·
898 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

spark wordcount

import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object SprakWordCount { def main(args: Array[String]): Unit = { //参数检查 if (args.length < 2) { Sys...
原创
发布博客 2019.07.26 ·
203 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

parquet 形式MapReduce hbase 数据写入hdfs

package com.sitech;import com.google.common.collect.Lists;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.h...
原创
发布博客 2019.05.28 ·
520 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

Flink 两表关联 流批处理消费kafka 数据写入hbase

Flink流批处理消费kafka 数据写入hbase通过flume将数据写入kafka topicKafka topic1 数据：name, age, sexy, proctime.proctimejava,18,男,20190516rose,28,女,20190516tom,38,男,20190516jack,18,男,20190516luoli,19,女,2019...
原创
发布博客 2019.05.16 ·
3821 阅读 ·
1 点赞 ·
0 评论 ·
9 收藏

Flink 两表关联 Could not instantiate outputs in order

Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.runtime.CRowKeySelector具体报错May 16, 2019 10:12:01 AM com.sitesh.SqlJoinWithKafka mainSEVERE: nullorg.apache.flink.client.progra...
原创
发布博客 2019.05.16 ·
1818 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink 同步kafka 数据写入hbase

package com.sitesh.test;import java.io.*;import java.util.Arrays;import java.util.List;import java.util.Properties;import java.util.logging.Level;import java.util.logging.Logger;import org.apa...
原创
发布博客 2019.05.07 ·
1360 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

MapReduce hdfs文件写入hbase表

@[TOMapReduce hdfs文件写入hbase表import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Put...
原创
发布博客 2019.03.29 ·
296 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

mapreduce HDFS 写入hbase 表中

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop....
原创
发布博客 2019.03.29 ·
237 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce hdfs to hbase

package sitech;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.a...
原创
发布博客 2019.03.28 ·
218 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce hbase to hdfs

hbase 表数据如下具体代码：import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import ...
原创
发布博客 2019.03.27 ·
178 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce hdfs 写入 hbase 表

文件内容如下：入hbase 表依赖jar 包<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
原创
发布博客 2019.03.27 ·
276 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

flink消费kafka数据直接到hdfs

import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.fli...
原创
发布博客 2019.03.25 ·
1810 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

flink消费kafka 数据

import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.fli...
原创
发布博客 2019.03.22 ·
900 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

flink 编写wordcount

依赖jar包<dependency><groupId>org.apache.flink</groupId><artifactId>flink-java</artifactId><version>1.7.2</version></dependency><dependency&...
原创
发布博客 2019.03.18 ·
371 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

kudu+impala 使用手册

1.技术路线oracle--kafka-kudu2.各个组件优缺点Hive：数据直接存放于hdfs中，适合离线分析，确不利于记录级别的随机读写。Hbase：将数据存放再hbase中，适合记录级别的随机读写。对离线分析确不友好。Kudu：是对 hdfs 和 hbase 功能上的补充，能提供快速的分析 和实时计算能力Kudu 特性：kudu 面向结构化存储 支撑单行事务...
原创
发布博客 2019.03.13 ·
2785 阅读 ·
0 点赞 ·
0 评论 ·
7 收藏

MapReduce 两个表关联

package sitesh;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapr...
原创
发布博客 2019.03.08 ·
477 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce 单表关联

package sitesh;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapr...
原创
发布博客 2019.03.04 ·
431 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce hbaseToHdfs

package sitech;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.a...
原创
发布博客 2019.01.23 ·
166 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MapReduce多表关联实测

两个表 a 表  name id   b 表 id  addressa      b  代码import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io....
原创
发布博客 2018.12.11 ·
445 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多