Tinkle2015

文章目录安装Spark开发环境1.下载安装Java2.下载安装Scala3.安装hadoop4.安装Spark5.配置 python-pyspark 开发环境6.py-spark 开发环境测试安装Spark开发环境1.下载安装Java略2.下载安装Scalahttps://www.scala-lang.org/download/2.11.12.html[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传双击安装等待安装完成！3.安装hadoop下载hadoo

1.下载与安装go：https://studygolang.com/dl2.配置环境变量​ 2.1.系统path路径设置go的安装目录下的bin目录：···Go/bin（一般自动生成）​ 2.2.创建goroot变量，值为go的安装目录​ 2.3.创建gopath变量，值为用户自定义的工作目录（一般为所有go项目的上级目录）3.安装golang编译器4.创建golang的第一个...

Ingress官方文档网址：https://kubernetes.io/docs/concepts/services-networking/ingress/pod与ingress的关系•通过label-selector相关联•通过Ingress Controller实现Pod的负载均衡•支持TCP/UDP 4层和HTTP 7层Ingress 组成ingress controller...

初识PV、PVC、StorageClass1.1 介绍管理存储是管理计算的一个明显问题。该PersistentVolume子系统为用户和管理员提供了一个API，用于抽象如何根据消费方式提供存储的详细信息。为此，我们引入了两个新的API资源：PersistentVolume和PersistentVolumeClaimPersistentVolume（PV）是集群中由管理员配置的一段网络存储。 ...

K8s，Kubernetes 的缩写，起源于希腊语意为舵手、领航员。是一种容器编排工具，于14.7被Docker收购，同类产品有docker swarm：k8s master 节点：master节点：k8s集群的管理节点，提供集群资源数据访问入口，负责运行Api Server进程、Scheduler服务进程、Controller Manager服务进程、et...

K8s云计算，发展经历： IAAS，基础设施级服务，阿里云 PAAS，平台级服务，新浪云（ICE，免费运维，自动化运维工具==》Docker，自动构建运行环境封装体） SAAS，软件设施级服务，office365Docker，成为PAAS的下一代标准，但是容器集群化带来的问题是物理机器与容器的端口映射与高效通信问题 ===》资源管理器：Apache MESOS，分布式资源管理框架，20...

安装Kind：使用K8s开启虚拟机关闭Hyper-V系统设置中搜索“内核隔离”，将其关闭基于虚拟化的安全设置为“已禁用”失败！(依然无法启动虚拟机)重连 - 使用 阿里云服务器报错没有文件打开连接：Index of /docker-ce/linux/centos/：发现是没有相关文件链接修改命令地址：wget...

由于之前搞图像时留下的笔记都太乱、没有章法，详细的总结部分后续有时间再整理，在这里先做个大一统，有疏漏的地方还请博友们指正，比如业界常见的ISP、3A相关的算法，网上比较优质的资料好像不太多...

LDA 笔记：一个函数：Gamma 函数四个分布：二项分布、多项分布，beta分布、Dirichlet分布一概一理：共轭先验、贝叶斯框架两个模型：pLSA、LDA一个采样：Gibbs采样​ 单词 =》文档 =》 主题​ 特征 =》简历 =》好坏Latent Dirichlet Allocation，无监督贝叶斯模型，一种主题模型，可求解文档集中每篇文档的主题的概率分布模型生成模型...

本文转载自：https://blog.csdn.net/shenziheng1/article/details/85262892原文：Deep Learning based Recommender System: A Survey and New Perspectives作者：张帅, 新南威尔士大学翻译：沈春旭，清华大学随着在线信息量的不断增加，推荐系统已经成为克服这种信息过载的有效策略。推荐系统的效用无论如何强调都不过分，因为它在许多Web应用程序中被广泛采用，以及它对于改善与过度选择相关的许

本文转载自：http://www.58maisui.com/2016/11/15/883/Kafka 架构简介 Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。它具备以下特点：·消息持久化： 为了从大数据中获取有价值的信息，任何信息的丢失都是负担不起的。Kafka使用了O(1)的磁盘结构设计，这样做即便是在要存储大体积的数据时也是可以提供...

·自动摘要技术·发展历史：​ 20世纪50年代，自动摘要（和机器翻译）被提出：对给定文本提取包含最重要信息的描述-摘要。一个代表性研究由H. P. Luhn提出，用程序对机器可读形式的完整文本进行分析，用词频及其分布的统计信息来计算重要性度量的方式。​ 1969年，Harold P Edmundson 描述了一个基于关键短语的范例，除了标准频率依赖权重之外，还使用以下三种方法来确定句子权重...

范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。设有矩阵L0范数： 矩阵中非0元素的个数，则L1范数：矩阵中每个元素的绝对值之和，则L2范数：矩阵中每个元素的平方和的平方根，也可理解为一个大向量的欧式距离，则P范数：矩阵中每个...

博弈论，由计算机之父 冯·诺依曼 发表《博弈论与经济行为》一书为创立标识又称为对策论（Game Theory），运筹学的一个分支，是一门以数学为基础，研究发生对抗与冲突时如何选择最优策略的学问经济学、政治学、军事科学、法学、社会学…及其有用的分析工具。保罗·萨缪尔森:要想在现代社会做一个有文化的人，你必须对博弈论有一个大致的了解。学科创立以约翰·冯·诺依曼、奥斯卡·摩根斯特恩94年出版...

千禧难题之一：证明 P=NP？首先需要了解时间复杂度与多项式的概念：对于一个问题的规模，比如任意给定一个3x3魔方的状态，求解最快多少步骤可以还原？这里的3则为该问题的规模通常将问题的规模记为n，通常算法的时间复杂度有以下几种情况：首先单项式指由变量、系数以及它们之间的乘除、幂运算（非负整数次方）得到的表达式。由若干个单项式相加组成的代数式叫做多项式。首先解释一下什么是...

由于 Keras 有1.x和2.x 多个版本，而且keras依赖于 tensorflow和 theano基础之上所以经常会遇到 因为keras的 API 版本问题造成的各种报错，在此汇总首先是 后端问题，keras 支持两种后端，而是用哪一种后端将有 用户文件夹下的 keras.json 文件指定Using TensorFlow backend.Using Theano back...

自适应线性回归，本质上还是线性回归，不过它的特点是 能够处理一种特殊情况：我们都知道 求解m个未知数需要至少m个等式联立，若等式少于m会得到无穷解，等式过多会无解而自适应线性回归对于后者给出了一种解决方案:当样本数 n > m 特征维数时，映射矩阵不可能求解出能够 满足所有样本和标签对的映射关系。ALR采取了一种类似降维的方式，将原本过大的样本集减少至能够刚好满足特征维数的映...

这一份总结是当年考研复试期间做的，当时发在了知乎文章，最近想起来也在此发一个。Software Engineering大致可分成为五个板块，分别是：1软工概述，2关于软件开发，3关于建模，4生命周期【核心】，5有关概念补充一：软工概述软件工程定义：是用科学的知识和技术原理来定义，开发，维护软件的一门学科。目标：1成本低，2功能达标，3性能良好，4易移植5低维护，6按时完...

AdaBoost 自适应 增强            Boosting系列代表算法，对同一训练集训练出不同的(弱)分类器，然后集合这些弱分类器构成一个更优性能的(强)分类器            传统Boosting方法存在两个问题：                1. 如何调整训练集的权重分布以训练出不同的弱分类器                2. 如何将各个弱分类器联合起来组成一个强...

XgBoost   (Xtreme Gradient Boosting 极限 梯度 增强)1.基本描述：            假设Xg-模型有 t 颗决策树数，t棵树有序串联构成整个模型，各决策树的叶子节点数为 k1,k2,...,kt,              对于决策树 Ti, 叶子节点数为 ki, 设这颗数每个叶子节点上的权值为:wj_i  (i∈[0,t]为决策树下标，j∈[...