![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
砖厂码农
主要从事分布式架构和分布式数据库相关工作。大数据、机器学习、微服务、云原生、区块链均有所涉略。
展开
-
sparkstreaming 实时数据项目中遇到的问题
1.单个partition拉取数据条数的限制val ppc = new PerPartitionConfig() { override def maxRatePerPartition(topicPartition: TopicPartition): Long = 1000 } KafkaUtils.createDirectStream[String, String...原创 2019-06-20 14:59:53 · 1350 阅读 · 0 评论 -
spark sql(phoenix cdh4.14.0)遇到的问题
1. 创建tableCREATE TABLE IF NOT EXISTS table_name ( ...) =column_encoded_bytes=0;2.TIMESTAMP 和 DATE 类型的数据 相差八个小时3. spark sql 读取数据的两种方式sparkSession.sqlContext.phoenixTableAsDataFramespark.read...原创 2019-06-20 15:18:40 · 397 阅读 · 0 评论