Master_chaoAndQi的博客

确定数据原始表与数据目标表原始表：读：数据来源目标表：写：数据目的地确定离线同步还是实时同步根据业务需要，如果没有必要，可选择离线同步，减少资源消耗确定增量同步还是全量同步一般数据初始化时需要全量同步，周期同步时均为增量同步；增量同步时，需要设置筛选条件，确保拉取数据不重叠。

【代码】Hive （小案例）查找字符串每个字符出现的下标。

简介从事于金融大数据开发，整理了一些平时工作中的知识点和工具类，发布在趣说大数据微信公众号，分享工作经验，记录生活点滴，共同学习探讨，我在这等你哦！以下是整理的一些知识点的链接:1 离线数仓常用工具之sqoop （1）MySQL->HDFShttps://t.1yb.co/jVC02 离线数仓常用工具-sqoop（2）HDFS->MySQLhttps://t.1yb.co/jVBS3 工具类之Pyhton创建hive表https://t.1yb.co/jVBK4 Hiv

在今天我开通了微信公众号，希望小伙伴们动动你们的双手帮忙关注一波，一起进步一起讨论。在公众号等你哦！不见不散

由于近期业务需要，需对现已存在的分区表增加字段，遇到了一个小问题记录一下：alter table table_name add columns (c_time string comment '当前时间');再往改分区表插入数据后，通过hive查询查不到改字段的值。问题解决：如果是按日期分区的表，不会出现这问题，因为再第二天往里写的时候会刷新分区数据。 不是日期分区的表，需要手动刷...

spark-submit \--class com.xxx.bigdata.handler.xxx \ -- 运行的主类--master yarn \--deploy-mode client \--driver-memory 1g \--executor-memory 2g \--executor-cores 2 \--jars hdfs:///user/admin/xx/bas...

文章目录一原生查询偏移量二 Druid数据库连接池三 在mysql中创建对应的偏移量表四 获取mysql中的偏移量五维护偏移量至mysql六 获取kafka Dstream七 测试代码八查看mysql中的结果数据一原生查询偏移量 val driver = "com.mysql.jdbc.Driver" val url = "jdbc:mysql://aliyun01:3306/kafka...

文章目录一 数据源二 测试三 总结一 数据源def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //设置时间语义 时间发生时间 env.setStreamTime...

文章目录一 数据源及入口二 key State2.1 ValueState[T]保存单个的值，值的类型为T。2.2 ListState[T]保存一个列表，列表里的元素的数据类型为T。基本操作如下：2.3 MapState[K, V]保存Key-Value对。2.4 ReducingState[T]2.5 AggregatingState[I, O]2.6 State.clear()是清空操作。三...

文章目录一 数据源二 分流三 输出结果大部分的DataStream API的算子的输出是单一输出，也就是某种数据类型的流。除了split算子，可以将一条流分成多条流，这些流的数据类型也都相同。process function的side outputs功能可以产生多条流，并且这些流的数据类型可以不一样。一个side output可以定义为OutputTag[X]对象，X是输出流的数据类型。proc...

文章目录一 数据源二 滑动窗口三 滚动窗口四 会话窗口注意：一 数据源样例类case class SensorReading(id:String,ts:Long,tm:Double){} val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //设置时间语...

文章目录一 项目依赖二 编码2.1 批处理2.2 流式WordCount一 项目依赖<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactI...

文章目录1 修改序列化器2 Java集合与Scala集合相互转换需要得隐式转换3 DS与RDD、DF之间相互转换得隐式转换4 广播变量5 累加器6 自定义累加器需继承AccumulatorV2这个类7 SparkContext的创建方式8 SparkSession的创建方式9 SparkStreaming的创建方式10 自定义聚合函数11 本地通过SparkSql 查询Hive12 SparkSt...

文章目录一 需求描述二 依赖三 手动指定MovieMapping四 写数据到Es中4.1 写入Es工具类4.2 测试五 从es中查询数据一 需求描述使用Spark读取本地Json文件，将读出的电影数据写入到Es中按照电影的Id进行分组统计，统计出每个电影的平均分，升序二 依赖<!--es 相关依赖开始--> <dependency> ...

一 准备工作es版本6.3.1 kibana 版本6.3.1启动三台ES节点，组建成Es集群启动kibana 连接上Es访问kibana提供的Web页面http://hadoop102:5601二 接口Restfull Api2.1 查看es中有哪些索引GET /_cat/indices?v表头含义:health green(集群完整) yellow(单点正常、集群不...

简介通过mybatis统计出当天日活数据，返回Json数据一 准备二 项目分层配置三 测试接口

文章目录一 环境准备1.1 pom文件1.2 config配置：1.3 properties解析工具类1.4 HbaseUtil工具类1.5 kafkaUtil根据指定的topic返回对应的Dstream1.6 jedisUtils从连接池中获取Jedis连接实例1.7 样例类二 Spark直接将数据写入Hbase三 Spark整合Phoenix将数据写入hbase四遇到的问题问题1 ：Phoen...

一 updateStateByKey函数声明：def updateStateByKey[S: ClassTag]( updateFunc: (Seq[V], Option[S]) => Option[S]): DStream[(K, S)]需求：对上次计算的结果进行缓存，在应用重启后，加载上次计算的结果，这里从scoket中读取流数据在这里插入代...