wt334502157的博客

22/08/23 11:11:21 ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 3)org.apache.hadoop.fs.ChecksumException: Checksum error: file:/home/wangting/abcd.txt at 0 exp: 400493684 got: -867269390 at org.apache.hadoop.fs.FSInputChecker.verifySums(FSInput

spark简介及spark部署、原理和开发环境搭建spark简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；