mlnist的博客

原创 transformer:attention is all you need脑图

原创 剑指offer---序列化二叉树整理

1. 需要注意的知识点：数组名是数组首元素的地址，本身不是一个占有存储空间的变量 单引号是char类型，双引号是字符串类型（const char*） 取址与引用的区别：取址一般是跟变量一起，没有类型声明，如&a,取a的地址，而引用则必须有类型声明，且必须进行赋值，声明是引用哪个变量。int &a = b;表示a是int 类型的b的引用，若a或者b发生改变，另外一个也发生改变...

原创 剑指offer: 树的子结构

1. 预备知识：子树：包含了一个结点，就得包含这个结点下的所有结点子结构：包含了一部分，可以只取左子树，右子树，或者都不取(可以是取一个结点，或者是含有下一层中的两个子结点)2. c++代码：/*struct TreeNode { int val; struct TreeNode *left; struct TreeNode *right; TreeNode(int x...

原创 win10本地调试spark并提交到虚拟机spark集群中(scala版本）

Win10环境准备：1.1 jdk，scala，sbt安装Jdk安装：1.8.0_191Scala安装: 2.11.6Sbt安装: 1.2.6都是默认安装，建议跟自己spark集群中安装的版本一致，可以升级spark集群的版本。否则后续需要在intellij中修改兼容性。这三个安装后找到此计算机->属性->高级系统设置，选择环境变量，然后添加这三者的环境变量，步骤...

原创 Spark集群下开启history server

1. 创建存放log文件的路径cd /usr/local/hadoop/bin#hadoop/bin的路径，若设hadoop安装路径为环境变量，则不用运行上述命令hdfs dfs -mkdir -p hdfs://master:9000/spark-eventshdfs dfs -ls ./tmp #出现spark-event说明成功2. 修改conf文件下的spark-def...

转载 Bagging和Boosting区别

转自：http://www.cnblogs.com/liuwu265/p/4690486.htmlBagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。1、Bagging (boo...

原创 学习笔记：利用Python进行数据分析

目录 2.2 快捷键，items，defaultdict用法，Counter用法... 2 Jupyter Notebook快捷键：... 2 dict.items()#得到词典的各项... 4 defaultdict用法：... 4 Counter模块（Counter，most_common）：... 4 2.3 利用pandas对时区进行计数... 5 DataFrame数据结构... 5 ...

转载 不平衡处理（数据层面）

转自：http://mp.weixin.qq.com/s?__biz=MzAwMzIxMjIyMg==&mid=2651005812&idx=1&sn=b9819f04cb2ee9af21f4011d34013824&scene=0常用的分类算法一般假设不同类的比例是均衡的，现实生活中经常遇到不平衡的数据集，比如广告点击预测（点击转化率一般都很小）、商品推荐（推荐的...

原创 win10+python3.6安装numpy，scipy,scikit-learn,matplotlib

最近准备用python3.6实现机器学习中的一些算法，安装numpy，scipy,scikit-learn,matplotlib，希望这篇可以帮忙阅读者减少一些坑1.首先安装python3.6时，安装选项中有pip,记得勾选，安装完成后有个add to path，也记得勾选。然后确认自己有安装pip，打开python的scripts目录下，如果看到有以下几个东西，那直接点一下下面的几个文件（都点一...

原创 Python3实现文本中字母的统计

最近在学Python中文件的调用，结合所学的文件调用的函数，写了一个简单的程序，学习中，勿嫌弃，欢迎交流功能：实现统计文本中的字母个数模块：re,需要调用re模块中的findall函数函数：         chr(i）是为了转化为字符串a-z        findall：匹配字符串思路：第一，读取文件，将文件中的字符串读出赋予字符串变量s中           第二