qq_44745905的博客

@R星校长下面给大家介绍算法训练营的五步学习法，分别是01. 先思考，后刷题02. 看动画，初学习03. 学习后，再尝试04. 细听课，克难点05. 勤复习，三遍过学习流程表我们先来看算法训练营的学习流程表，周课程名称类别第一步：先思考后刷题第二步：看动画，出学习…第1周1.1-链表的基础知识，单链表链表第1周1.2-链表逆序链表第1周1.3-链表求交点链表第1周1.4- 两个排序链表的合并链表第.

@R星校长面对算法面试有五点注意：1.明确目标与规划2.精选题目初步练3.每题三遍成习惯4.纸和白板刻意练5.善用教程与视频在刷题前一定要先明确目标并做好规划，我们的目标是为了找工作准备算法面试，还是为了巩固，学习算法知识，又或者是为了参加程序设计竞赛，目标的不同会直接影响规划与训练，如果是为了找工作，那么就要针对面试算法的考点精心准备，不能随意的选择题目，对于很多面试中几乎不会涉及的算法（扩展KMP）（计算几何）或者是比较偏冷门题目，做这些题会消耗很多时间和精力。对于新人，不常考的算法题.

@R星校长已知两个单链表的头节点 headA 和 headB ，请你找出并返回两个单链表相交的起始节点。如果两个链表没有交点，返回 null 。杰哥我用白话翻译过来：链表A和链表B相交于C节点，我们返回C节点的地址，如果两个链表之间没有交点，程序返回null图示两个链表在节点 c1 开始相交：题目数据 保证 整个链式结构中不存在环。注意，函数返回结果后，链表必须 保持其原始结构 。杰哥我用白话翻译过来：不能删除节点、添加节点或是改变节点内的数据。本题当中有多种解法，实现算法的时候，我.

@R星校长第3关：归一化任务描述本关任务：利用sklearn对数据进行归一化。相关知识为了完成本关任务，你需要掌握：1.为什么使用归一化，2.L1范式归一化，3.L2范式归一化。为什么使用归一化归一化是缩放单个样本以具有单位范数的过程。归一化实质是一种线性变换，线性变换有很多良好的性质，这些性质决定了对数据改变后不会造成“失效”，反而能提高数据的表现，这些性质是归一化的前提。归一化能够加快模型训练速度，统一特征量纲，避免数值太大。 值得注意的是，归一化是对每一个样本做转换，所以是对数据的每一.

@R星校长第2关：非线性转换为什么要非线性转换。映射到均匀分布。映射到高斯分布。为什么要非线性转换在上一关中已经提到，对于大多数数据挖掘算法来说，如果特征不服从或者近似服从标准正态分布（即，零均值、单位标准差的正态分布）的话，算法的表现会大打折扣。非线性转换就是将我们的特征映射到均匀分布或者高斯分布(即正态分布)。映射到均匀分布相比线性缩放，该方法不受异常值影响，它将数据映射到了零到一的均匀分布上，将最大的数映射为1，最小的数映射为0。其它的数按从小到大的顺序均匀分布在0到1之间，如有.

@R星校长1 Scala1.1 【重点】Scala六大特性 1) 与java无缝整合 2) 类型自动推断 3) 并发和分布式 4) Trait特质特性 5) Match模式匹配 6) 高阶函数1.2 【重点】Scala & Java异同？ 1) 类型定义声明不同，Scala ：val/var Java强类型定义。 2) Scala中有类和对象，Java中有类。 3) Scala、java都是是基于Jvm,scala面向对象+面向函数编程，java面向对象编程。 4) .

@R星校长1 基础概念和Kylin简介1.1 OLTP与OLAP  数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。1.1.1 OLTP  OLTP(On-Line Transaction Processing):联机事务处理，OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。主要用于业务类系统，主要供基层人员使.

@R星校长1. 大数据集群搭建及管理问题提出问题：需要搭建1000台服务器的集群，其中集群包含Hive、Hbase、Flume、Kafka、Spark等集群，需要多长时间搭建好？思考：搭建四台集群与搭建1000台集群的区别？比较相似。解决问题：（以搭建HDFS为例） 1. 集群环境规划：  首先我们需要进行集群基础环境的规划：比如每台节点的网络ip规划，节点时间同步，每台节点的名称，每台节点安装jdk，节点之间配置免密等。  其次需要进行Hadoop的集群规划：比如搭建HDFS的版本.

@R星校长基于Flink的城市交通监控平台1.1 项目整体介绍  近几年来，随着国内经济的快速发展，高速公路建设步伐不断加快，全国机动车辆、驾驶员数量迅速增长，交通管理工作日益繁重，压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全国各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“便携式测速”、“视频监控”、“预警系统”、“能见度天气监测系统”、“LED信息发布系统”等交通.

@R星校长大数据技术之Flink第一章 初识Flink  在当前数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。目前比较流行的大数据处理引擎Apache Spark，基本上已经取代了MapReduce成为当前大数据处理的标准。但对实时数据处理来说，Apache Spark的Spark-Streaming还有性能改进的空间。对于Spark-Streaming的流计算本质上还是批（微批）计算，Apache Flink.

@R星校长机器学习06【机器学习】主要内容理解推荐系统处理数据流程。python 文件预处理 Hive 数据。dubbo 服务使用。学习目标第一节 推荐系统-数据处理流程推荐系统数据处理首先是将 Hive 中的用户 app 历史下载表与 app 浏览信息表按照设备 id 进行关联，然后将关联数据使用 python 文件进行处理，将数据预处理为 label 和 feature 两列的临时数据，后期经过处理转换成逻辑回归 模型的训练集，进而得到模型文件。数据处理流程图如下：第二节 H.

@R星校长机器学习05【机器学习】主要内容模型评估方式理解协同过滤思想理解推荐系统架构理解推荐系统流程学习目标第一节 模型评估1. 混淆矩阵：对以上混淆矩阵的解释：P：样本数据中的正例数。N：样本数据中的负例数。Y：通过模型预测出来的正例数。N：通过模型预测出来的负例数。True Positives:真阳性，表示实际是正样本预测成正样本的样本数。Falese Positives:假阳性，表示实际是负样本预测成正样本的样本数。False Negatives:假阴性，表示.

@R星校长机器学习04【机器学习】主要内容道路拥堵预测梯度下降法逻辑回归优化模型评估学习目标第一节 道路拥堵情况预测1. 构建训练集：每条道路的拥堵情况不仅和当前道路前一个时间点拥堵情况有关系，还和与这条道路临近的其他道路的拥堵情况有关。甚至还和昨天当前时间点当前道路是否拥堵有关联。我们可以根据这个规律，构建训练集，预测一条道路拥堵情况。假设现在要训练一个模型：使用某条道路最近三分钟拥堵的情况，预测该条道路下一分钟的拥堵情况。如何构建训练集？构建的训练集有什么样的特点，依靠训练.

@R星校长机器学习03【机器学习】主要内容数字聚类案例TF-IDF算法微博营销案例逻辑回归算法音乐分类案例学习目标第一节 数字聚类案例1. K-means 找中心点和数据点分类例子import numpy as np #将每行数据放入一个数组内列表，返回一个二维列表def loadDataSet(fileName): #建空列表 dataMat = [] fr = open(fileName) for li.

@R星校长机器学习02【机器学习】主要内容朴素贝叶斯算法拉普拉斯估计KNN 最近邻算法Kmeans 聚类算法学习目标第一节 朴素贝叶斯算法朴素贝叶斯（Naive Bayes ,NB）算法是基于贝叶斯定理与特征条件独立假设的分类方法，该算法是有监督的学习算法，解决的是分类问题，是将一个未知样本分到几个预先已知类别的过程。朴素贝叶斯的思想就是根据某些个先验概率计算Y变量属于某个类别的后验概率，也就是根据先前事件的有关数据估计未来某个事件发生的概率。1. 举例： 一个学校内有60%.

@R星校长开发 PySpark 所需准备环境 1) 安装 python 环境  下载安装Anaconda。 详细见文档 “Anaconda安装及使用.docx”。  2) 安装 PyCharm  下载安装 PyCharm。 3) 官网下载 Spark 安装包  由于 PyCharm 开发 spark 需要本地 Spark 环境，所以要在官网中下载 Spark 安装包到本地（这里我们下载 Spark1.6 版本）。  A. 进入 Spark 官网，找到对应的 Spark 版本下载。  B..

@R星校长机器学习01【机器学习】主要内容Anconda安装使用python开发spark线性回归算法原理线性回归算法案例学习目标第一节 pySpark环境准备1).window配置python环境变量window安装python，配置python环境变量。安装python后,在环境变量path中加入安装的路径，cmd中输入python，检验python是否安装成功。 注意：如果使用的是anaconda安装的python环境，建议安装python3.5.x版本，这个版本和spar.

@R星校长Spark优化【Spark优化内容】主要内容Spark资源优化Spark并行度优化Spark代码优化内存调优Sparkshuffle优化堆外内存优化解决数据倾斜第一节 资源优化  1) .搭建Spark集群的时候要给Spark集群足够的资源（core，memory）  在spark安装包的conf下spark-env.sh   SPARK_WORKER_CORES   SPARK_WORKER_MEMORY   SPARK_WORKER_INSTANCE  2.

@R星校长音乐数据中心平台1.1 数据库与ER建模1.1.1 数据库（DataBase）数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。1.1.2 数据库三范式关系型数据库设计时，遵照一定的.

@R星校长Spark第八天【SparkStreaming内容】主要内容Kafka应用场景Kafka分布式消息系统原理Kafka集群搭建Kafka 操作命令Kafka Leader 均衡机制SparkStreaming与Kafka整合学习目标第一节 Kafka 介绍kafka是什么？使用场景？Kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步.