大数据
文章平均质量分 78
Favourite流沙
博客仅作自己学习记录使用。
展开
-
大数据安全保护技术综述-网络与信息安全学报-2016
本论文从加密算法、完整性校验、访问控制技术、密文数据去重和可信删除、密文搜索等方面,对当前大数据安全保护关键技术的研究现状进行分类阐述。 一、大数据安全需求 1. 机密性 数据机密性是指数据不被授权者、实体或进程利用或泄露的特性。为了保障大数据安全,数据常常被加密。常见的加密方法有公钥加密、私钥加密、代理重加密、广播加密、属性加密、同态加密等。传统的加密方法不能直接用在大数据上的原因是数原创 2016-11-07 07:06:41 · 4726 阅读 · 0 评论 -
Hadoop-2.7.1 编译
一、下载源文件 1. 登录hadoop官网下载相应的版本。官网地址:http://hadoop.apache.org 2. 下载的文件一般在当前用户的下载文件夹。我的位置是:/home/penglaozi/下载 3. 进入/usr/local/新建一个空文件夹:sudomkdir hadoop 将下载的文件拷贝到新建的文件夹里:sudo cp /home/penglaozi/下载/ha原创 2016-10-30 20:45:30 · 446 阅读 · 0 评论 -
hadoop-2.7.1环境搭建
具体搭建步骤见博客:http://www.bubuko.com/infodetail-1447859.html 此处我只是将hadoop2.7.2改成了hadoop2.7.1 不同之处:在单机模式下运行”grep/WordCount”等例子读取的是ubuntu的ext4中的本地数据,而伪分布式读取的是HDFS上的数据。为了使用HDFS,需要在HDFS中创建用户目录,增查删改文件和目录。原创 2016-10-31 13:51:02 · 384 阅读 · 0 评论 -
MapReduce编程
一、eclipse下开发MapReduce需要导入的jar包: 1. hadoop/share/hadoop/mapreduce下的所有jar包,但是子文件夹下面的jar包不需要导入 2. hadoop/share/hadoop/common下的hadoop-common-2.7.1.jar 3. hadoop/share/hadoop/common/lib下的commons-cli-1.2原创 2016-11-01 16:25:34 · 472 阅读 · 0 评论