Hadoop
指南z
这个作者很懒,什么都没留下…
展开
-
hive写入ES报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
HIVE整合ES场景:ES版本:6.5.2hive版本:2.3.4插件包下载地址:https://repo.maven.apache.org/maven2/org/elasticsearch/elasticsearch-hadoop-hive/整合过程网上很多资料,下载与自己ES版本匹配的插件包,然后将elasticsearch-hadoop-hive-6.5.2.jar拷贝到hive安装目录lib下。因为我的hive下已经有commons-httpclient-3.0.1.jar文件了原创 2020-05-30 16:33:43 · 1142 阅读 · 0 评论 -
MapReduce工作原理
MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和他们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的R...转载 2014-08-19 09:47:24 · 727 阅读 · 0 评论 -
在eclipse中调试Hadoop遇到的问题
14/09/10 15:42:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable14/09/10 15:42:55 ERROR security.UserGroupInformatio...转载 2014-09-10 16:22:09 · 921 阅读 · 0 评论 -
MapReduce 编程模型在日志分析方面的应用
日志分析往往是商业智能的基础,而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析,进而挖掘出用户兴趣点这一完整流程为例,详细解释 MapReduce 模型的对应实现,涵盖在 MapReduce 编程中对于特殊问题的处理技巧,比如机器学习算法、排序算法、索引机制、连接机制等。文章分三部转载 2014-08-19 10:44:17 · 625 阅读 · 0 评论 -
常用的Hadoop Common组件属性分享
常用的hadoop原创 2014-08-19 10:44:26 · 1690 阅读 · 0 评论 -
hadoop笔记
1、SAAS、PAAS、IAAS、XAAS、都是什么意思,另外DAAS是什么意思? SAAS:应用软件服务,用户可以直接租用服务 PAAS:管理软件资源的服务,通过他可以开发、管理软件服务 IAAS:管理硬件资源的软件服务,通过他可以租用硬件 XAAS:一切皆服务,指越来越多的通过互联网提供的服务,而不是指本地或现场服务。云计算的本质就是XAAS DAAS:原创 2015-01-12 18:35:48 · 735 阅读 · 0 评论 -
HANA通过unixODBC连接HIVE及遇到的问题
1,首先安装unixODBC.前文已经安装过,不做赘述.2,使用https://www.cloudera.com/downloads/connectors/hive/odbc/2-5-24.html下载hiveodbc驱动ClouderaHiveODBC-2.5.24.1017-1.suse12.x86_64.rpm,我这个是适合suse12 64位的版本,可以选择适合自己系统的版本.3,...原创 2018-11-15 20:45:59 · 1715 阅读 · 0 评论 -
requirement failed: Block broadcast_487 is already present in the MemoryStore
场景:以往正常执行的sparksql,今天在公司执行报如下错误:第一次执行报错如下:Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 1382 in stage 320.0 failed 4 times, most rece...原创 2019-06-05 13:44:22 · 552 阅读 · 0 评论