- 博客(6)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Slick报错：Exception in thread “main“ slick.SlickException: Read NULL value (null) for ResultSet column
一、问题描述使用slick连接mysql数据库，查询数据，结果报错Exception in thread "main" slick.SlickException: Read NULL value (null) for ResultSet column <computed> at slick.jdbc.SpecializedJdbcResultConverter$$anon$1.read(SpecializedJdbcResultConverters.scala:27) at sli
2020-10-23 23:33:11
356
原创 spark on hive/hive on spark/SparkSQL的区别
一、实现功能解释三者相似概念的区别。二、解释1.Spark on Hive（1）是在Spark中配置Hive，运行方式入口是通过Spark。（2）底层通过配置Hive的hive-site.xml，hdfs-site.xml等配置文件来直接操作hive2.Hive on Spark（1）是在Hive中配置Spark引擎，运行方式入口是通过Hive。（2）将底层MR引擎替换为Spark引擎。...
2020-10-20 19:55:12
391
原创 Spark：createTempView创建临时表和cache/persist缓存区别
一、问题Dataframe进行createTempView创建一个别名，但是何时执行，以及和cache/persist区别是什么，都是需要弄清楚，才能进一步优化。二、原理解释1.createTempView运作原理Spark中的算子包含transformation算子和action算子，transformation是根据原有RDD创建一个新的RDD，而action则把RDD操作后的结果返回给driver。Spark对transformation的抽象可以大大提高性能，这是因为在Spark中，
2020-10-20 00:04:23
8748
3
转载 （转）ambari安装的各组件的目录
【转载原因：参考安装目录】利用ambari可以快速的搭建Hadoop集群，安装后各组件的默认安装在/usr/hdp/目录下。[root@hdp-01 2.4.2.0-258]# lsaccumulo hadoop hadoop-mapreduce ranger-hdfs-plugin spark zookeeperetc hadoop-hdfs hadoop-yarn ranger-yarn-plugin usr查找方法：ambari使用
2020-10-16 08:26:34
1204
原创 Shell（5）：Shell输入输出重定向、函数以及文件包含
一、实现功能介绍Shell的输入输出重定向、函数以及文件包含这几个关键点的总结文档。二、具体内容连接1.Shell输入输出重定向2.Shell函数3.Shell文件包含Source三、总结积跬步，至千里
2020-10-09 23:43:50
140
转载 （转）spark-调度策略之FAIR
【转载原因：清晰明了】1、概述spark有两种调度模式：FIFO、FAIR。FIFO是先进先出，有很强的顺序性，只有前一个处理完成后才会去处理后进来的。FAIR是公平调度，通过配置进行控制优先执行的任务。spark默认使用FIFO模式，如果应用场景里面有很多比较大的查询、也有很多小的查询，此时建议使用FAIR模式可以先执行小的查询在执行耗时比较旧的查询。2、配置默认安装spark后再conf目录下有一个fairscheduler.xml.template文件，把此文件复制一份：#cpf.
2020-10-06 11:12:35
1226
1
hadoop的wordcount简单实例
2018-12-06
火狐电子书阅览器EPUBReader
2015-05-21
c#report view控件报表
2015-03-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人