吴国邦的博客

spark提供了好几种方法对mysql数据进行操作，这里只记录个人比较常用的几种。 spark查询mysql表数据： 1.取zhi_lian_zhao_pian表中前50行的数据valconf=new SparkConf().setAppName("connectmysql").setMaster("local") val sc=new SparkContext(conf) val sqlCon

spark接收kafka发送的消息，本来很简单的，由于不熟的原因，被卡了几个小时。 知道是什么问题的时候简单到哭。Error:scalac: bad symbolic reference. A signature in KafkaUtils.class refers to term serializer in package kafka which is not available. It may

最近使用spark简单的处理一些实际中的场景，感觉简单实用，就记录下来了。场景运用部门用户业绩表（1000w测试数据）用户、部门、业绩 数据加载：val conf = new SparkConf().setAppName("spark函数").setMaster("local") val context = new SparkContext(conf) var data = context.tex