2019年05月_Loy_Fan

原创大数据处理技术 PySpark 复习提纲文字版

第一章大数据计算模式及其代表产品批处理计算（针对大规模数据的批量处理）MapReduce、spark流计算（针对流数据的实时计算）S4、Storm、Streams、Dstream、Puma、SuperMario、银河流处理平台、Flume图计算（针对大规模图结构数据的处理）Giragh、PowerGragh、GraghX、Hama、GoldenOrb、Pregel查...

2019-05-29 15:45:07 584

原创 Spark + Python《同桌的你》歌曲评论听众信息分析

实验环境安装Linux：Ubuntu16.04Java：1.7.0_80Hadoop：2.7.1Python：2.7PyCharm：2019.1.2(Community Edition)matplotlib：2.0.0Spark：2.1.0下载数据集数据集为某音乐平台歌曲《同桌的你》评论者的信息数据，包含评论者的用户ID、动态总数、关注总数、粉丝总数、所在地区、个人介绍、年龄、...

2019-05-28 16:41:23 567

原创大数据处理技术 PySpark 复习提纲图片版

大数据处理技术 Spark-期末复习要点 2019年春季学期大数据技术概述大数据计算模式及其代表产品Hadoop生态系统图，请分别阐述Hadoop生态系统的各个组成部分的主要功能MapReduce的基本原理YARN框架的目标和优点阐述Hadoop的缺陷以及Spark相对于Hadoop的优点Spark的设计与运行原理描述Spark生态系统的各个组件及其功能下图：组...

2019-05-23 21:38:03 257

原创 Python + numpy实现同态加密算法

Sc=wx+ex=⌈Scw⌋S \mathbf{c}=w \mathbf{x}+\mathbf{e} \quad \mathbf{x}=\left\lceil\frac{S \mathbf{c}}{w}\right\rfloorSc=wx+ex=⌈wSc⌋第一种加密对称加密如果密钥S是一个单位矩阵，那么c不过是输入x的一个重加权的、略带噪声的版本。当S为单位矩阵时，相当于没有加密当...

2019-05-14 15:52:52 9039 14

原创同态加密 Homomorphic Encryption 简介

首先，同态加密不是一种特定的加密算法，而是一种加密形式。同态加密允许人们对密文进行特定形式的代数运算得到仍然是加密的结果，将其解密所得到的结果与对明文进行同样的运算结果一样。换言之，这项技术令人们可以在加密的数据中进行诸如检索、比较等操作，得出正确的结果，而在整个处理过程中无需对数据进行解密。其意义在于，真正从根本上解决将数据及其操作委托给第三方时的保密问题，例如对于各种云计算的应用。这一直是...

2019-05-08 21:51:09 7134

原创 Keras自动下载的数据集/模型存放位置

Mac# 数据集~/.keras/datasets/# 模型~/.keras/models/Linux# 数据集~/.keras/datasets/Windows# win10C:\Users\user_name\.keras\datasets

2019-05-08 10:03:23 3998

原创 Mac显示隐藏文件夹

Mac默认是隐藏了很多文件夹，在terminal里输入>> ls -a可以看到当前目录下所有文件，包含隐藏文件，但是隐藏文件在finder里不显示。若需要显示，方法如下：在finger里显示隐藏文件夹>> defaults write com.apple.finder AppleShowAllFiles -bool true在finder里开启隐藏文件夹&...

2019-05-08 09:50:25 2363

原创 Docker login出错

使用docker登陆时报错>> fanshiqing@server218:/usr/local/bin$ sudo docker login --username=loyfanPassword: 输入密码Error saving credentials: error storing credentials - err: exit status 1, out: `Cannot au...

2019-05-07 10:57:08 1606

原创 Docker命令+镜像名仓库名标签名踩坑疑问

镜像# 查找镜像docker search [ 条件 ]# 查询三颗星及以上名字包含alpine的镜像docker search -f=stars=3 alpine# 获取镜像docker pull [ 仓库 ]:[ tag ]#仓库格式为 [仓库url]/[用户名]/[应用名] , 除了官方仓库外的第三方仓库要指定 url, 用户名就是在对应仓库下建立的账户, 一般只有应用名的...

2019-05-06 11:17:49 5697 1

原创 Linux（Ubuntu）指令

查看某端口被什么程序占用>> sudo lsof -i:8888查看所有进程、cpu、内存使用情况等>> htop

2019-05-06 10:22:05 130

原创提取和使用Python工程的依赖包为requirements.txt

提取整个环境下的依赖包在命令行中输入>> pip freeze > requirements.txt这条命令会在当前目录下产生一个名为requirements.txt的文件，包含了整合环境下安装的所有工具包和它的版本号。提取当前工程下的依赖包很多时候只需要用到当前工程的工具包，并不需要整个环境所有的。那么可以使用工具pipreqs先安装：>> pip...

2019-05-05 11:18:19 3096

Loy Fan