spark
文章平均质量分 81
放开那个产品经理
这个作者很懒,什么都没留下…
展开
-
pom文件备份
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVer原创 2020-09-01 17:49:00 · 159 阅读 · 1 评论 -
spark读取kafka数据写入hbase
package com.prince.demo.testimport java.util.UUIDimport com.typesafe.config.{Config, ConfigFactory}import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Putimpo...原创 2018-05-18 15:23:05 · 3594 阅读 · 3 评论 -
spark读取kafka后写入redis
package com.prince.demo.testimport com.typesafe.config.ConfigFactoryimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.log4j.{Level, Logger}import org.apache.spark.s...原创 2018-05-18 16:32:25 · 3348 阅读 · 0 评论 -
Spark SQL 按照某个字段去重
/** * 按照两个字段进行排重 * Created by princeping on 2017/8/8. */object SQLDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName(&quot;SQLDemo&quot;).master(&quot;local&quot;).getOrC...原创 2018-05-23 16:51:59 · 14110 阅读 · 0 评论 -
spark写入mysql的几种方法,针对不同场景
方法一:各个字段都是提前定好的val prop = new java.util.Propertiesprop.setProperty("user", "root")prop.setProperty("password", "123456")df1.write.mode(SaveMode.Append).jdbc("jdbc:mysql:原创 2018-05-23 17:24:17 · 5423 阅读 · 0 评论 -
根据用户 IP 解析地域信息
利用 GeoLite2-City 将服务器日志中的IP 信息,解析成更加直观有效的地域信息。话不多说,直接上代码:实际运用时代码要根据需求稍加改动,像我是读取parquet 日志文件,分析后将结果写入MySQL。package come.prince.spark.demoimport java.io.Fileimport java.net.InetAddressimport...原创 2018-05-24 09:21:45 · 1479 阅读 · 0 评论 -
造数据
今天头儿临时起意让造一部分数据,其间有几个小问题,在此mark一下package come.prince.spark.demoimport java.util.UUIDimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.{SaveMode, SparkSession}import org.code...原创 2018-05-29 18:55:54 · 911 阅读 · 0 评论 -
spark在将嵌套json作为数据源时,schema的构造问题
val schema = new StructType() .add("data", new StructType() .add("channel", "string", true) .add("mid", "string", true) .add("page", "string&qu原创 2018-07-10 18:23:56 · 1794 阅读 · 0 评论