Data人生
码龄7年
关注
提问 私信
  • 博客:12,294
    社区:1
    12,295
    总访问量
  • 7
    原创
  • 1,227,671
    排名
  • 3
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
  • 加入CSDN时间: 2018-05-04
博客简介:

不会写代码

查看详细资料
个人成就
  • 获得1次点赞
  • 内容获得1次评论
  • 获得39次收藏
创作历程
  • 3篇
    2022年
  • 4篇
    2021年
成就勋章
TA的专栏
  • shell
    1篇
  • sqoop
    2篇
  • #Sink
    1篇
  • Flink
    4篇
兴趣领域 设置
  • 大数据
    hadoophivestormsparkflinketl
  • 人工智能
    机器学习数据分析
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Sqoop将MySQL数据增量导入Hive示例

Sqoop将MySQL数据增量导入Hive示例#!/bin/bashexport sqoop_home=/usr/bin/sqoopif [ $# -eq 1 ]then datestr=$1else datestr=`date -d '-1 day' +%Y -%m-%d`fistart_time=`date +%Y-%m-%d`year_stat=`date +%Y`month_stat=`date +%m` jdbc_url='jdbc:mysql://ha
原创
发布博客 2022.04.16 ·
2797 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

sqoop操作示例

##1、导入mysql到HDFS sqoop import \--connect jdbc:mysql://172.17.0.202:3306/test --username root --password 123456 \--table emp --target-dir /sqoop/emp -delete-target-dir -m 1 --fields-terminated-by '\t'sqoop import \--connect jdbc:mysql://172.17.0.202:3
原创
发布博客 2022.04.10 ·
231 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink:Source代码中传参

import org.apache.flink.api.java.operators.DataSource;import org.apache.flink.api.java.utils.ParameterTool;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;im
原创
发布博客 2022.02.09 ·
1138 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink读取hbase的数据然后对数据进行业务操作以后写入到hbase中

import cn.flink.streaming.sink.VehicleDetailSinkFunction;import cn.flink.streaming.source.VechileDetailSourceFunction;import org.apache.flink.api.common.restartstrategy.RestartStrategies;import org.apache.flink.api.java.tuple.Tuple9;import org.apache.f
原创
发布博客 2021.09.28 ·
1025 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

flink实时产生的数据流式写入到kafka中

flink实时产生的数据流式写入到kafka中package cn.itcast.day03.sink;import cn.itcast.day03.source.custom.MyNoParallelSource;import cn.itcast.day03.source.custom.Order;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.streaming.api.data
原创
发布博客 2021.01.11 ·
1373 阅读 ·
0 点赞 ·
1 评论 ·
5 收藏

将实时产生的数据流式写入到hdfs中

Flink将实时产生的数据流式写入到hdfs中import cn.itcast.day03.source.custom.MyNoParallelSource;import cn.itcast.day03.source.custom.Order;import org.apache.flink.api.common.serialization.SimpleStringEncoder;import org.apache.flink.core.fs.Path;import org.apache.flink
原创
发布博客 2021.01.11 ·
1403 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

Flink消费kafka数据

Flink消费kafka数据import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.str
原创
发布博客 2021.01.10 ·
4327 阅读 ·
0 点赞 ·
0 评论 ·
22 收藏