自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据池塘

知乎专栏「数据池塘」:https://zhuanlan.zhihu.com/datapool

  • 博客(44)
  • 资源 (1)

原创 【数据池塘】

欢迎关注我的知乎专栏【数据池塘】,专注于分享机器学习、数据挖掘相关内容:https://zhuanlan.zhihu.com/datapool⬇️ 扫描下方二维码关注公众号【数据池塘】 ⬇️回复【算法】,获取最全面的机器学习算法网络图:...

2018-11-30 22:29:07 269

原创 盘一盘2020年上半年的微博热搜词条(文末提供获取热搜词条方法)

6月10日晚上,我正在冲浪,突然收到一条推送:于是热搜停在了6月10日下午15点整:杨幂、彭昱畅、明道或成最大赢家,(可能)花一天的钱买了七倍的量。于是在热搜恢复之前,我去挖了一下历史热搜词条,没有新瓜吃的日子,就回味一下微博曾经喂我们吃过的瓜吧…我收集了2020年1月1日- 6月10日中午和晚上两个时间点的热搜词条,也就是 161*2**50=16100个热搜词条,以及当时的热搜指数。本年度最热词条来自谁?今年最火爆的一条是「罗志祥周扬青分手」,发生在4月23日上午,.

2020-06-13 16:20:51 2598 3

原创 百度指数的爬虫方法及代码

​最近几年经常在各平台看到有关「搜索指数动态排行」的视频,比如「青春有你2」决赛前一周,我在B站上传了一段「青你2」和「创造营2020」的人气选手指数动态榜的视频,后台看到的视频播放量、弹幕数、评论数等数据如下:居然被播放了近 4w 次,评论里有问视频怎么做的,也有质疑数据来源的,这篇文章先讲一下数据是怎么来的。全部数据都来自百度搜索指数,就是这个玩意儿:网上关于百度指数的爬取方案有很多种,测试下来最方便快捷的是通过 Cookies 登录后爬取,这个场景不太...

2020-06-03 15:12:56 1023 2

原创 Flask+Axios+jQuery构建前后端通信的小例子
原力计划

比较暴力但好理解的方法,下面详细说一下。工具准备Flaskpip install flaskAxioshttps://cdnjs.cloudflare.com/ajax/libs/axios/0.19.2/axios.min.js数据下面的例子用动物森友会中鱼类的价格、活动季节、图片等数据作为测试数据,通过关键词进行查询并做前端展示,数据来源:https://raw.githubusercontent.com/chendaniely/animal_crossin.

2020-05-10 13:00:19 121

原创 AttributeError: 'Request' object has no attribute 'is_xhr' 报错的解决办法

在用 Flask+VUE 做前后端分离的数据可视化项目时,遇到了这个报错:AttributeError: 'Request' object has no attribute 'is_xhr'是 Werkzeug 的版本问题,只需在命令行执行: pip install Werkzeug==0.16.1 ⬇️ 扫描下方二维码关注公众号【数据池塘】 ⬇️回复【算法】,获取最全面的...

2020-04-22 09:58:39 2092

原创 韩国新冠病例突破7000人,韩疾控中心公开数据解析

新冠肺炎在韩国一触即发,虽有不良组织屡屡做出违反抗疫秩序的事,但韩国官方始终很尽责,做出的决策都很关键果决,没有上演电影《流感》的剧情。前几日,韩国疾病预防控制中心(KCDC)在官网(http://www.cdc.go.kr)公开了全部确诊病例的相关信息,目前在 Github 和 Kaggle 上都同步了这些数据,都有人在维护和更新。最近在 Kaggle 的公开数据集中始终保持前三的热度。...

2020-03-08 11:39:45 317

原创 异常检测算法分类及经典模型概览

最近工作涉及有关异常检测的内容,而且前几天在公司做了一次有关异常检测算法和应用场景的分享,在此总结记录一下。​什么是异常检测?异常检测(Anomaly Detection 或 Outlier Detection)指的是通过数据挖掘手段识别数据中的“异常点”,常见的应用场景包括:金融领域:从金融数据中识别”欺诈案例“,如识别信用卡申请欺诈、虚假信贷等;网络安全:从流量数据中找出”入...

2020-02-23 13:12:09 531

原创 数据工作者的福音:Google 发布正式版数据搜索工具啦!

作为数据工程师,平时在工作中一定少不了到处搜找测试数据,常用的网站包括:Kaggle、Freebase、Data.gov等等,有时候要挨个网站搜索关键字和主题,然后下载了又发现数据集可能并不适用,非常浪费时间。好消息是,上个月 Google 推出了正式版的数据搜索工具 ——Dataset Search:覆盖了 2500w 个公开数据集,而且用户可以使用过滤器进行搜索条件限定,筛选是...

2020-02-05 23:17:02 157

原创 用 Python 写一个 Kaggle 比赛排行榜的爬虫

长久以来,我和小伙伴们都被 Kaggle 网站的加载速度困扰着,比如最近在用 Kaggle 上的数据集测试模型效果时,遇到排行榜(Leaderboard)刷新困难的问题。于是我们开始探索解决方案。首先尝试直接使用页面链接进行数据爬取,很明显爬不到,因为 Kaggle 的数据是异步响应的。于是我打开 Leaderboard 页面的开发者工具,以著名的Titanic 竞赛的排行榜为例,打开 Ne...

2019-11-23 20:20:24 289

原创 macOS 上使用 lightgbm 遇到的坑及解决方法

lightgbm 包安装成功,但使用时遇到以下错误:OSError: dlopen(/Users/Cyan/anaconda3/lib/python3.7/site-packages/lightgbm/lib_lightgbm.so, 6): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib Referenced from...

2019-08-27 16:45:22 1513

原创 孤立森林(Isolation Forest)算法剖析

之后会持续更新算法剖析系列,力图用最生动的例子演示每一个算法的原理,不稀里糊涂做一个调包侠。欢迎持续关注,指正不足。孤立森林(Isolation Forest)算法是西瓜书作者周志华老师的团队研究开发的算法,一般用于结构化数据的异常检测。异常的定义针对于不同类型的异常,要用不同的算法来进行检测,而孤立森林算法主要针对的是连续型结构化数据中的异常点。使用孤立森林的前提是,将异常点定义...

2019-07-25 23:28:52 4723 2

原创 用 dash_bootstrap_components 为 dash 生成美观的导航栏

先安装 pip 包:pip install dash-bootstrap-components把 bootstrap 的 sheetstyle 加入你的 app 中:app = dash.Dash(__name__, external_stylesheets=[dbc.themes.BOOTSTRAP])生成 navbar:import dash_bootstrap_co...

2019-07-17 10:00:27 1431

原创 Python Plotly Dash 画多折线图

import plotly.plotly as pyimport plotly.graph_objs as go# Create random data with numpyimport numpy as npN = 500random_x = np.linspace(0, 1, N)random_y = np.random.randn(N)# Create a trace...

2019-07-07 17:39:26 2471 2

原创 Plotly Dash 画多个子图

import plotly.plotly as pyimport plotly.graph_objs as gotrace1 = go.Scatter( x=[1, 2, 3], y=[4, 5, 6])trace2 = go.Scatter( x=[20, 30, 40], y=[50, 60, 70], xaxis='x2', yax...

2019-07-05 09:39:47 3202 2

原创 ImportError: cannot import name 'Graph' from 'pyecharts' 解决办法

最近 pyecharts 包的结构进行了调整,Graph 模块已经不在根目录导致 ImportError,引入语句改成如下即可:from pyecharts.charts.basic_charts.graph import Graph欢迎关注我的知乎专栏【数据池塘】,专注于分享机器学习、数据挖掘相关内容:https://zhuanlan.zhihu.com/datapool...

2019-06-21 15:05:27 3691

原创 我的 Hive 为什么跑不起来/跑得慢?看看是不是少了这几行代码?

《饮食男女》开头说:“人生不能像做菜,把所有的料都准备好了才下锅。”但做大数据挖掘不一样,MapReduce 不同于人生,一定要把准备工作做好了,才能顺利运行后面的步骤。如果你的 HiveQL 代码没毛病,却一运行就出现 Fail 提示,可以看看,是不是少了下面哪项准备工作?指定队列set mapred.job.queue.name=queue01; //自己指定一个队列在 H...

2018-11-30 22:26:54 2226

原创 Java面试常问基础知识(持续更新)

欢迎关注我的知乎专栏【数据池塘】,专注于分享机器学习,数据挖掘相关内容:HTTPS://zhuanlan.zhihu.com/datapool本文中的知识都是我自己或同学在面试过程中常被问到的,在此整理记录一下比较好的答案。1,简述JVM的内存模式。JVM内存空间包含:方法区,爪哇的堆,爪哇的栈,本地方法栈,程序计数器。区方法的英文各个线程共享的内存区域,用于它存储已被虚拟机加载的...

2018-08-04 20:27:58 175

原创 用 Python 检验数据正态分布的几种方法

什么是正态分布关于什么是正态分布,早在中学时老师就讲过了。通俗来讲,就是当我们把数据绘制成频率直方图,所构成曲线的波峰位于中间,两边对称,并且随着往两侧延伸逐渐呈下降趋势,这样的曲线就可以说是符合数学上的正态分布。由于任何特征的频率总和都为100%或1,所以该曲线和横轴之间部分的面积也为100%或1,这是正态分布的几何意义。如下图,是数据统计实例中出现的正态分布性数据:为什么要做正...

2018-07-27 14:02:14 27554 6

原创 训练及优化神经网络基本流程之第0到6步

在之前的笔记中,我记录过《神经网络的代价函数及反向传播算法》,以及使用BP算法(反向传播算法)的一点细节。这篇笔记想简短地总结记录一下训练并优化神经网络的几个步骤:第零步:之所以写了个第零步,是想记录一下如何搭建神经网络,毕竟要先有网络才能谈后续的训练和优化。关于构建问题之前也有过记录:《神经网络的模型构建》。输入层的单元个数取决于特征个数,也就是;输出层的单元个数取决于训练集中结果的...

2018-07-19 20:19:17 4326

原创 【LintCode】算法题 1443. 最长AB子串

描述给你一个只由字母'A'和'B'组成的字符串s,找一个最长的子串,要求这个子串里面'A'和'B'的数目相等,输出该子串的长度。这个子串可以为空。 s的长度n满足2<=n<=1000000。样例给定s="ABAAABBBA",返回8。解释:子串 s[0,7] 和子串 s[1,8] 满足条件,长度为 8。给定s="AAA...

2018-06-21 19:41:10 1049

原创 基于 XGBoost 对 Santander 银行用户购买行为进行预测

Santander Product Recommendation是我去年做的一个数据挖掘project,简单来说就是,给了一定量的数据,用合适的算法对这些数据进行建模分析,给出预测,从而挖掘出有价值的信息。这也是目前互联网金融公司重点关注的工作内容之一,由于最近在准备面试,回顾之前做过的项目,想重点总结一下这个项目。项目简介Santander 银行成立于西班牙,也称作西班牙国际银行,是...

2018-06-11 12:08:31 3222 4

原创 NLP 带你分析 —— 扎克伯格在听证会上说了什么?

蹭一下这几天扎克伯格因为 Facebook 信息泄漏事件,坐上美国参议院委员会听证会的热度,我们用 NLP 手段来分析一下听证会上的对话内容,看看扎克伯格到底说了什么?我是在 Jupyter 里进行分析的,需要的包有:import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport nltk.cor...

2018-06-11 12:04:26 493

原创 BP神经网络算法:将参数矩阵向量化

上一篇《机器学习:神经网络的代价函数及反向传播算法》记录了如何使用反向传播算法计算代价函数的导数,其中一个细节就是需要把参数的矩阵表达式展开成向量的形式,以便在后来使用高级的优化算法。Ng 老师在讲展开参数(Unrolling Parameters)这部分时,比较粗略。自己补了一下视频里提到的内容,在这里总结记录一下~基于 Matlab 实现 unrolling parameters,有...

2018-04-16 02:57:45 1269

原创 机器学习:神经网络的代价函数及反向传播算法

在《机器学习:神经网络的模型构建》中,我记录了神经网络的一些基础知识,包括神经网络的逻辑单元、模型表示、前向传播等等。这篇笔记中,我会整理神经网络的代价函数以及反向传播算法~那么如何在给定的训练集下,来为神经网络拟合参数呢?和之前学习的大多数算法一样,要从代价函数开始讨论起了。神经网络在分类中的应用神经网络可以应用在两种分类问题中:二分类问题和多分类问题。在二分类问题中,y 等于 0 或 1,神经...

2018-04-15 03:43:57 974

原创 Kaggle 数据清洗挑战 Day 5 - 处理不一致数据

今天是 Kaggle 数据清洗挑战的第五天,转眼最后一天啦!这次任务是处理拼写不一致的数据,例如“康涅狄格州”可能被记录为 “Connecticut”、“Coon.” 或 “Conecticutt”,这些实际代表是同一个值,而机器会将他们识别为不同的对象。今天用一个简单的方法来整理这些拼写不一致的数据,具体包括三个部分:Get our environment set up Do some p...

2018-04-14 03:12:00 479

原创 Kaggle 数据清洗挑战 Day 4 - 字符编码(Character Encoding)处理

今天是 Kaggle 数据清洗挑战的第四天,任务是对字符进行编码处理~分为四个部分来学习:Get our environment set up What are encodings? Reading in files with encoding problems Saving your files with UTF-8 encoding1、搭建环境首先还是引入需要的 lib 包...

2018-04-14 03:10:30 303

原创 Kaggle 数据清洗挑战 Day 3 - 快速解析日期(date)数据

今天是 Kaggle 数据清洗挑战的第三天,任务是解析 date 型数据。相信我们都遇到过此类情况,拿到的数据集中有需要分析的日期数据,但它们的类型是 String,不便作图,也不适合作为一个 factor 帮助我们进行预测。也可能你拿到的是 Timestamp 类型的数据(如:2005-10-30 T 10:45 UTC),而你只需要年份和月份信息。遇到这些情况,我们都可以使用 python 对...

2018-03-30 06:16:20 630

原创 Kaggle 数据清洗挑战 Day 2 - 数据缩放及标准化处理

今天是 Kaggle 数据清洗挑战的第二天,任务是进行数据缩放(scaling)及标准化处理(normalization),分为四个部分:Get our environment set up Scaling vs. Normalization: What's the difference? Practice scaling Practice normalization1、搭建环境第...

2018-03-30 06:15:31 486

原创 Kaggle 数据清洗挑战 Day 1 - 手把手教你五步处理缺失值

前些天报名参加了 Kaggle 的 Data Cleaning 5天挑战,5天的任务如下:Day 1: Handling missing values Day 2: Data scaling and normalization Day 3: Cleaning and parsing dates Day 4: Fixing encoding errors (no more messed u...

2018-03-28 04:35:12 2035

原创 机器学习:神经网络的模型构建

什么是神经网络神经网络是一种模拟人脑工作原理,从而实现类人工智能的机器学习技术,支持处理图像、文本、语音以及序列多种类型的数据,可以实现分类、回归和预测等。简单的神经元:逻辑单元(Logistic Unit)由于神经网络建立在很多个神经元的基础上,其中每一个神经元都是一个学习模型,这些神经元叫做激活单元(Activation Unit)。以逻辑回归模型为例,采纳一些特征作为输入,给出逻辑输出,如下...

2018-03-28 04:34:18 2253

原创 机器学习:用正规方程法求解线性回归

求解线性回归最常用的两个方法是:梯度下降法和最小二乘法,之前在文章《机器学习:用梯度下降法实现线性回归》中介绍了梯度下降法的工作流程等,这篇文章着重介绍最小二乘法的使用。由于最小二乘法是基于正规方程的,所以也被称为正规方程法。什么是最小二乘法最小二乘法是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。方法的选择那么在求解线性回归时,对于这两种方法该如何选择呢?先看一下这两种方法的...

2018-03-25 01:38:04 1302

原创 机器学习:分类(Classification)算法

在目前的机器学习工作中,最常见的三种任务就是:回归分析分类分析聚类分析这篇文章的重点是分类(Classification)在机器学习领域中的应用。什么是「分类」虽然我们人类都不喜欢被分类,被贴标签,但数据研究的基础正是给数据“贴标签”进行分类。类别分得越精准,我们得到的结果就越有价值。分类是一个有监督的学习过程,目标数据库中有哪些类别是已知的,分类过程需要做的就是把每一条记录归到对应的类别之中。由...

2018-03-17 09:54:00 10761

原创 机器学习:用梯度下降法实现线性回归

之前在 机器学习算法数学基础之 —— 线性代数篇 中,总结过求解线性回归的两种方法:最小二乘法梯度下降法这篇文章重点总结一下梯度下降法中的一些细节和需要注意的地方。梯度下降法是什么假设有一个估计函数:  ,其代价函数(cost function)为: 这个代价函数是 x(i) 的估计值与真实值 y(i) 的差的平方和,前面乘上 1/2,是因为在求导的时候,这个系数就不见了。梯度下降法的流程:1)首...

2018-02-25 10:01:14 1073

原创 机器学习算法数学基础之 —— 统计与概率论篇(3)

核心问题发现数字的隐藏规律,完成分类。核心技能最大似然估计给定一个概率分布  ,已知其概率密度函数(连续分布)或概率质量函数(离散分布)为 ,以及一个分布参数  ,我们可以从这个分布中抽出一个具有  个值的采样  利用  计算出其似然函数:若  是离散分布,  即是在参数为  时观测到这一采样的概率。若其是连续分布,  则为  联合分布的概率密度函数在观测值处的取值。一旦我们获得  我们就能求得一...

2018-02-22 08:19:06 340

原创 机器学习算法数学基础之 —— 线性代数篇(2)

线性代数核心问题求多元方程组的解。核心技能乘积、内积、秩已知矩阵 A 和矩阵 B,求 A 和 B 的乘积 C=AB。矩阵 A 大小为 mxn,矩阵 B 大小为 nxp。常规方法:矩阵 C 中每一个元素 Cij = A 的第i行 乘以(点乘)B 的第 j 列。设有 n 维向量令  ,称  为向量 x 与 y 的内积。在线代中秩的定义:一个矩阵 A 的列秩是 A 的线性无关的列的极大数目。类似地,行秩...

2018-02-21 13:44:10 1210

原创 机器学习算法数学基础之——微积分篇(1)

最近在听台大老师林轩田老师的機器學習基石课程,意识到做好机器学习必须要把根本学好,也就是机器学习算法的基础 —— 数学。高等数学虽然在本科时已经学过了,但很多概念和定理由于太久不使用,很多细节已经搞不清了。所以打算在知乎记几篇笔记,分别是关于微积分、线性代数、统计与概率论三个部分的一些常用知识点。当前这篇是关于微积分部分的,包括:罗尔定理、柯西中值定理、拉格朗日中值定理、泰勒展开、夹逼准则、洛...

2018-02-13 09:35:44 5257

原创 使用 Spark ML Pipeline 进行机器学习

Spark ML Pipeline 的引入,是受到scikit-learn的启发,虽然 MLlib 已经足够简单实用,但如果目标数据集结构复杂,需要多次处理,或是在学习过程中,要使用多个转化器 (Transformer) 和预测器 (Estimator),这种情况下使用 MLlib 将会让程序结构极其复杂。所以,一个可用于构建复杂机器学习工作流应用的新库已经出现了,它就是 Spark 1.2 ...

2018-02-06 13:20:49 5295 1

原创 数据预处理之将类别数据数字化的方法 —— LabelEncoder VS OneHotEncoder

LabelEncoder 和 OneHotEncoder 是什么在数据处理过程中,我们有时需要对不连续的数字或者文本进行数字化处理。 在使用 Python 进行数据处理时,用 encoder 来转化 dummy variable(虚拟数据)非常简便,encoder 可以将数据集中的文本转化成0或1的数值。 LabelEncoder 和 OneHotEncoder 是 scikit-lear...

2018-02-04 15:07:59 3543

原创 Spring MVC 常用注解之 Controller 篇

Shopping Without Vision 的 project 终于告一段落,teamwork 非常给力,中间也遇到很多困难,还好都一起克服了。这是做的第二个 Spring MVC 项目了,对这个框架在很多细节上又多了些深入的理解。这篇文章想总结一下关于 controller 中我们用到的几个注解。@ControllerController 是 MVC 中的 C —— 控制层,如果不...

2018-02-02 05:48:15 198

原创 Hadoop 的核心(2)—— MapReduce & YARN

MapReduce 简介MapReduce 是一种编程模型,是一种编程方法,是抽象的理论。YARN 概念YARN 是 Hadoop 2.0 版本以后的资源管理器,即 MapReduce 2.0,相比于 1.0 版本,架构中的各个模块分工明确,在性能和稳定性上都有所提升。YARN 负责整个集群资源的管理和调度,也就是说所有的 MapReduce 都需要通过它来进行调度,支持多种计算框架。...

2018-01-31 05:41:49 147

RSS订阅器(JAVA)

用JAVA写的RSS订阅器,使用了Spring MVC框架,可在tomcat上运行。

2018-01-25

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除