大数据
文章平均质量分 51
syb18810107241
1、开发语言:Java、Scala;
2、熟练掌握 Hadoop:HDFS、MapReduce、Yarn、Hive;
3、熟练掌握 HBase;
4、熟练掌握 Spark、SparkSQL、Spark Streaming;
5、熟练掌握 Kafka
6、熟练掌握 Flink
7、熟练掌握Java多线程和并发编程
8、熟悉JVM,有一定的JVM调优经验
9、熟悉Flume、Zookeeper、Apache Doris、ES、Redis等Hadoop生态体系其他工具
展开
-
【SparkSQL】JDBC Data Source - 从MySQL中读取数据
Spark SQL从MySQL中读取数据原创 2023-04-04 16:02:04 · 252 阅读 · 0 评论 -
Flink窗口计算
Flink窗口计算原创 2023-03-28 00:28:33 · 919 阅读 · 0 评论 -
HBase1.2.4使用Java API创建和删除Table示例程序
刚开始接触Java API操作HBase,碰到了zookeeper,hbase的配置问题,后来报错:HMaser is not running的错误,最后从HBase官网找了一段Java操作HBase的Demo,稍微改动一下,运行成功了!直接上代码:import org.apache.hadoop.conf.Configuration;import org.apache.hadoo原创 2016-11-20 09:11:01 · 3321 阅读 · 2 评论 -
Spark源码学习(一)---Spark的启动脚本
启动Spark的时候,分别执行${SPARK_HOME}/sbin/start-master.sh和${SPARK_HOME}/sbin/start-slaves.sh两个脚本,下面就先看一下这两个脚本中都做了什么;(1)${SPARK_HOME}/sbin/start-master.sh:(1.1)首先将一些配置信息加载到环境变量中:. "${SPARK_HOME}/sbin/spa原创 2017-01-19 00:13:23 · 545 阅读 · 0 评论 -
Spark源码学习(二)---Master和Worker的启动以及Actor通信流程
在《Spark源码学习(一)》中通过Spark的启动脚本,我们看到Spark启动Master的时候实际上是启动了org.apache.spark.deploy.master.Master,启动Master的时候实际上是启动了org.apache.spark.deploy.worker.Worker,下面我们就从这2个类入手,通过阅读Spark的源码,了解Spark的启动流程。1,首先看一下or原创 2017-01-21 12:36:35 · 536 阅读 · 0 评论