- 博客(9)
- 收藏
- 关注
RSS订阅原创 StructuredSpark概述（一）
Structured Streaming 是一种基于Spark SQL引擎可扩展容错流处理引擎，可以用在静态数据上表示批处理计算的方式来表示流处理，SparkSQL引擎将负责增量的，持续的运行，并在流数据继续到达时更新最终结果。可以使用Scala、Java、Python或R中的Dataset/DataFrame API来表示流聚合、事件事件窗口、流到批处理连接等。计算在同一个优化后的SparkSQL引擎上执行。最后，系统通过检查点和Write-Ahead日志确保端到端只允许一次错误。简而言之，Structu
2021-09-30 17:45:45
173
原创 spark写入使用pipeline批量写redis
在这里插入代码片 def forPartition(pipeline:Pipeline,jedis: Jedis): Iterator[Row] ={ val rows: Iterator[Row] = partition.map(row => { val key = row.getAs[String](keyNameInDF) val value = row.getAs[String](valueNameInDF) match
2021-09-28 17:14:00
405
1
原创 sparkStreaming 微批处理任务监控
sparkstreaming任务在处理数据时存在堆积情况，但是仍然会不断从kafka拉取数据首先先说2个参数spark.streaming.kafka.consumer.poll.msspark去kafka取数的时候，会有一个超时时间。如果两次尝试后都出现了超时，这个任务就会失败，然后spark会把这个任务分发到其它的executor上面去执行，这就会导致一定的调度耗时。在spark中这个参数的默认值是512ms。如果超时时间很短，但是kafka响应的时间很长，这就会导致spark中有很多的任务失败
2021-05-13 15:21:05
624
原创 Hive Sql常用的时间处理方法
hive 常用日期格式转换把固定日期转换成时间戳select unix_timestamp('2020-05-29','yyyy-MM-dd') --返回结果 1590681600select unix_timestamp('20200529','yyyyMMdd') --返回结果 1590681600select unix_timestamp('2020-05-29T13:12:23Z', "yyyy-MM-dd'T'HH:mm:ss'Z'") --返回结果 1590729143sele
2021-03-24 13:46:25
561
原创 nginx日常报错
nginx: [emerg] unknown log format “main” in /usr/local/nginx/conf/nginx.conf:26把http下 log_format注释打开nginx报错zero size shared memory zone "one"把配置项location = 名称 { limit_rate 10240k; limit_conn one 10;}删掉...
2021-03-23 14:58:45
1140
原创 geospark demo
geospark 代码案例pom文件配置<properties> <scala.version>2.11</scala.version> <geospark.version>1.2.0</geospark.version> <spark.compatible.verison>2.3</spark.compatible.verison> <spark.v
2021-03-09 17:18:16
163
原创 scala伴生类与伴生对象
scala伴生类与伴生对象1、先说单例对象。在scala是不允许有静态成员的。对此类使用场景，Scala提供了单例对象。单例对象的定义看上去跟定义类很像，只不过class关键字被换成了object关键字这就是个单例object Test { var name1:String = "bigdata player" println("+++++++++++++++++++++++++++++++") def apply(name :String): Test = { new Test(
2021-01-25 18:30:18
219
原创 jdbc连接Hive
话不多说撸代码public void createdriver(){authKrb5();try{//第一步：把JDBC驱动通过反射的方式加载进来Class.forName(driver);/**第二步：通过JDBC建立和Hive的连接器，默认端口是10000，默认用户名和密码都为空/conn = DriverManager.getConnection(url, user, pa...
2018-10-16 17:15:00
918
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人