nengyu的专栏

采用gradle,编写了一个spring boot的测试类，出现了报错：错误：org.junit.runner不存在,错误：找不到符号@RunWith(SpringRunner.class)在这里还是因为使用了Junit4的RunWith注释，而由于spring boot版本的更新，支持JUnit5了。在这里笔者改为了 Junit5的写法替换RunWith,再次编译正常:@ExtendWith(SpringExtension.class)完整代码段如下，仅做参考：import.

总结：为解决此问题效率整理此文： select * from table limit 50000,10，在大数据 量下这样写不行。解决方法如下：select a.* from member as a inner join (select id from member where gender=1 limit 300000,1) as b on a.id=b.id;具体细节分...

storm是一个免费、开源、分布式、实时计算系统。吞吐量高。每秒每节点百万元组。 storm VS hadoop----------------------------------------------------------- 实时流处理 ...

flink通过sql查询数据的代码实现import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apach...

Apache Flink是另一种新一代通用大数据处理引擎，旨在统一不同的数据负载。Flink正试图解决Spark试图解决的同样问题。这两个系统都旨在构建单一平台，您可以在其中运行批处理，流媒体，交互式，图形处理，ML等。因此，flink与Spark的意识形态中间没有太大差别。但是它们在实现细节方面确实存在很大差异。这里介绍单词统计flink的scala版本和java版本的代码实现scala...

Spark 流计算程序-统计每2秒钟的单词个数import java.io.{File, FileOutputStream}import java.util.Dateimport java.text.SimpleDateFormatimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds,...

一、非SQL实现1. scala实现spark流计算程序，统计每2秒钟的单词个数1）scala代码部分：import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * spark 流计算程序，统计每2秒钟的单词个数 */object ...

在hdfs上存储一个sql文件cust.txt:1,smith,122,bob,133,alex,144,alice,156,mike,261.保存DataFrame到mysqlimport org.apache.spark.sql.SparkSession/** * 将数据框保存成数据库的表中 */object SparkSQLJDBCWriteDe...

在hdfs上存储一个sql文件cust.txt:1,smith,122,bob,133,alex,144,alice,156,mike,261.将DataFrame转换为json数据格式import org.apache.sparkimport org.apache.spark.sql.SparkSession/** * 将数据框保存成json数据...

首先用记事本准备两张表数据：customers.txt:1,smith,122,bob,133,alex,144,alice,156,mike,26orders.txt:1,t001,100.9,12,t002,100.3,13,t001,100.6,24,t003,100.7,25,t001,100.1,26,t003,100.1,37,t002,100.1,...

在编写spark sql代码前，需要新建maven工程，将hadoop下的配置文件core-site.xml和hdfs-site.xml,以及hive中的hive-site.xml拷贝到工程的resource目录下，并在pom.xml中配置jar包信息。pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmln...

累加器是用于跟踪和调试的技术， 在driver如果需要获取executor的执行结果，可以使用累加器机制。 executor端使用累加器的add方法将结果回传给driver，driver能够进行累计处理。 executor端只能调用add方法，不要访问value. 以下为自定义累加器， 通过累加器实现气温数据的双聚合(max|min)。import or...

spark对单词进行统计，可以有独立模式和集群模式，独立模式下可以直接对单词进行统计import org.apache.spark.{SparkConf,SparkContext}object WordCount { def main(args: Array[String]): Unit={ val conf =new SparkConf() conf.setAppName(...

import org.apache.spark.{SparkConf, SparkContext} /** * RDD再分区 */ object RDDRepartition { def main(args: Array[String]): Unit = { val conf = new SparkConf()...

1.SparkConf Spark配置对象，设置各种参数，使用kv类型。2.SparkContext spark主要入口点，代表到spark集群的连接，可以创建 rdd、累加器和广播变量。 每个JVM中只能有一个SparkContext，启动新的SparkContext必须stop的原来的。 val rdd1 = sc.textFile()3.R...

一般情况下，sed默认提供在大多数的GNU/ Linux发行版。使用该命令，以确定其是否存在于您的系统上。如果没有，那么在基于Debian GNU/ Linux可以使用apt包管理器，如下所示安装sed：[root]# sudo apt-get install sed安装后，确保sed可以通过命令行访问。[root]# sed --versio执行上面的代码，会得到如下结果...

1.启动ZK>zkCli.sh -server datanode1:2181 1.1.创建一个flume znode >create /flume 1.2.查看znode >ls /flume[netcat]2.将flume配置文件保存到aa.txt a1.source...

一、介绍什么是Kundera 和JPA1. kundera是一个兼容jpa接口的对象映射器。当前kundera支持的数据库有:      Cassandra,MongoDB,HBase,Redis,OracleNoSQL,Neo4j,CouchDB,Dudu,Relational databases,Apache Spark2.  JPA是Java Persistence API的简称，...

package hmr.jr.hbase.first;import java.util.Iterator;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.HBaseConfiguration;import or...