hadoop
文章平均质量分 92
网络空间发展与战略研究中心
这个作者很懒,什么都没留下…
展开
-
HDFS读写流程(史上最精炼详细)
如需转载,请注明出处:https://blog.csdn.net/whdxjbw/article/details/81072207专栏:大数据核心原理与实践概述开始之前先看看其基本属性,HDFS(Hadoop Distributed File System)是GFS的开源实现。特点如下:能够运行在廉价机器上,硬件出错常态,需要具备高容错性 流式数据访问,而不是随机读写 面向大规模数据集,能够进行批处理、能够横向扩展 简单一致性模型,假定文件是一次写入、多次读取缺点:不支持转载 2021-01-15 10:24:31 · 155 阅读 · 0 评论 -
断电或者重启后Cloudera Manager 7180 web page 打不开
查看CDH日志,可能有多种原因导致7180页面打不开,比如mysql服务未打开,这些在日志里都可以找到,但是下面的原因可能永远发现不了,crond会kill运行中的程序,使python程序被kill掉,spark集群单节点挂掉。1)check whether there is a crond process by using top command: top2)if ...原创 2019-10-16 17:41:54 · 1343 阅读 · 0 评论 -
CDH6.3集群部署--研发环境安装实录
原文链接:https://blog.csdn.net/qq_39680564/article/details/100923644转载 2019-10-11 22:14:24 · 851 阅读 · 0 评论 -
Hue框架
Hue是一个图形化的用户界面,去操作或者开发一些hadoop应用,集成一些框架。 一 Hue架构图支持的框架:JobOOZIE PIG HDFS:查文件 文件的管理:增删改查 HiveMetaStore 管理器 ImaplaShell 二 Hue安装部署2.1下载解压下载地址:https://archive.cloudera.com/cdh5/cdh/5/hue-3...转载 2019-02-18 10:27:52 · 306 阅读 · 0 评论 -
MapReduce计算的强隐私实现 M2R:Enabling Stronger Privacy in MapReduce Computation (USENIX2015)
在公有云或者私有云中防止内部用户(如,充满好奇心的管理员)偷窃数据是一个非常重要安全担心。为了阻止内部用户威胁,通常的做法是对云上存储的数据进行加密。但是,即使数据被加密,仍然存在访问模式泄露问题。例如,攻击者将观测到的加密数据流动情况与公开数据集关联,能够推断出加密数据所对应的明文信息。1.两方面攻击:Passive Attack:观察数据流动推断原始信息Active Attack:篡改数据...原创 2018-06-07 22:04:12 · 302 阅读 · 0 评论 -
混合云场景下安全与高效的MapReduce计算SEMROD: Secure and Efficient MapReduce Over HybriD Clouds (SIGMOD2015)
现在,很多组织机构收集大量的用户数据进行各式各样地分析。例如,商业公司通过分析用户点击流数据来挖掘用户的偏好信息,以期能够为用户提供特定的广告服务。组织机构内部的计算能力常常是有限的,并不能够支持复杂的数据分析任务。这种计算能力的限制过去常常是这些组织结构的一大障碍,现在的公有云服务(如,Amazon EC2)提供了一种可行的办法。但是,组织机构将自己数据上传到公有云上后如何进行安全地计算,是一个...原创 2018-06-13 15:11:23 · 283 阅读 · 0 评论 -
CDH5.9.0集群部署与搭建
原文:http://blog.csdn.net/yizheyouye/article/details/53173912目录(?)[-]下载CDH各种RPM包1 下载cloudera-manager-installerbin2 下载对应平台架构的RPMS设置IP地址所有节点1 设置IP地址和网关2 设置主机名设置hosts文件所有节点关闭防火墙转载 2018-01-08 16:31:08 · 383 阅读 · 0 评论 -
大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术
原文链接:http://www.aboutyun.com/thread-9219-1-1.html大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合转载 2017-01-19 15:30:18 · 457 阅读 · 0 评论 -
CDH简介
原文:http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_intro.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f59CDH is the most complete, tested, and popular distribution of Apache转载 2017-01-19 14:58:12 · 909 阅读 · 0 评论 -
CDH(Cloudera)与hadoop(Apache)对比
问题导读:1.hadoop有几个版本?2.CDH有几种安装方式?3.CDH在安装认证方面做了什么改变?目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称C转载 2017-01-19 13:46:29 · 382 阅读 · 0 评论