- 博客(374)
- 资源 (23)
- 收藏
- 关注
RSS订阅原创 字节跳动面试真题-两数相加
给你两个 非空 的链表，表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的，并且每个节点只能存储 一位 数字。请你将两个数相加，并以相同形式返回一个表示和的链表。你可以假设除了数字 0 之外，这两个数都不会以 0 开头。......
2022-06-21 20:45:31
209
原创 字节跳动面试真题-两数之和
给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。......
2022-06-20 21:32:11
169
原创 手把手带你玩转Spark机器学习-使用Spark构建聚类模型
本文以Covid-19新冠肺炎的公开数据为例，为大家演示如何在Spark上进行空缺值处理、异常检测、去除重复项等预处理操作。同时为了直观了解过去一段时间内新冠肺炎病例演变情况，我们还引入geopandas来画一个比较酷炫的全球新冠肺炎地理热图，并通过coding将png图像转换成一个动态图片gif，最后我们讲解了K-means在新冠肺炎数据上的实际应用，并针对最终的聚类结果作出相应的解释及分析。.....................
2022-06-17 11:39:26
2974
10
原创 手把手带你玩转Spark机器学习-使用Spark构建回归模型
我们选择[Bike Sharing数据](http://archive.ics.uci.edu/ml/machine-learning-databases/00275/)来做实验，预测共享单车的需求。我们将深入挖掘数据并应用GBDT决策树来进行预测。最后我们使用CrossValidator, ParamGridBuilder对每个回归器进行参数调整来找到最佳超参数。同时，在文章末尾，我们还对模型性能调优提出了几点建议。............
2022-05-29 00:04:43
2281
23
原创 一文看懂时序预测 or 销量预测场景下的的评估指标
在时序预测或者销量预测场景中，我们会通过确定一些准确率指标来评估我们的预测值。在学术界和工业界，我们常用指标有：均方根误差（RMSE）、加权分位数损失（wQL）、平均绝对百分比误差（MAPE）、平均绝对缩放误差（MASE）、加权绝对百分比误差。本文将会详细介绍这些指标的具体含义和计算逻辑，以及适应的应用场景。在实际预测场景中，我们还是要根据预测类型来创建预测和评估预测变量。Forecast 类型有以下两种形式：均预测类型-以平均值作为预期值的预测。通常用作给定时间点的点预测。
2022-05-16 10:41:39
3921
1
原创 手把手带你玩转Spark机器学习-使用Spark构建分类模型
本文，我们将介绍如何利用Spark构建分类模型。我们会介绍分类模型【逻辑回归、随机森林、梯度决策树】的基础知识以及如何通过Spark MLib来使用这些模型。分类通常通常是指将事物分成不同的类别。以上就是今天本文所要分享的内容，借助泰坦尼克号乘客数据，我们通过三个机器学习算法来预测乘客是否幸存。并详细讲解了如何通过Pyspark对数据进行分析、清洗、异常值填充、特征工程以及参数搜索模型调优，最后我们还分析比较了随机森林和梯度提升决策树的异同，以及介绍了一些性能评估指标及可视化的方法。.........
2022-05-10 15:15:07
4395
17
原创 手把手带你玩转Spark机器学习-使用Spark进行数据处理和数据转换
本文首先介绍了几种常见公开数据集，然后以加州住房数据集为例，分别介绍了如何利用Spark进行数据的下载、读取、探索分析、预处理、标准化等操作，最后简单总结了下不同类型的数据如何进行处理并转换成特征向量以供模型训练的方法。...............
2022-05-04 13:11:10
5711
11
原创 手把手带你玩转Spark机器学习-Spark的安装及使用
本文首先介绍了Spark的基础知识以及RDD和DataFrame这些核心概念，然后演示了如何下载Spark二进制版本并搭建一个本地单机模式下的开发环境，最后通过Python语言来编写第一个Spark程序。
2022-05-02 21:06:35
7306
1
原创 手把手带你玩转Spark机器学习-问题汇总[持续更新]
前言主要记录在实战过程中遇到的各种问题及解决方法。问题问题1：mml.Lightgbm进行fit操作的过程中TypeError: ‘JavaPackage’ object is not callable解决方法：这类问题一般都是在spark-submit或者spark config阶段未指定正确jar导致的，所有只要在submit或者config里面添加lightgbm对应的jar包即可:--jars hdfs://yourpath/mmlspark_2.11-0.18.1.jar,
2022-05-01 22:29:42
3585
6
原创 手把手带你玩转Spark机器学习-专栏介绍
目前国内关于Spark机器学习实战的优质资料比较欠缺，很多文章抄来抄去，写的不清不楚，随着Spark技术生态的成熟，很多公司都把它作为大数据处理的框架，但是在实际应用中，难免遇到很多的坑。作者从多年实际工作经验出发，参考多方面的资料，编写这个实战性质的专栏，希望能够给即将使用到或者正在使用Spark进行机器学习的同学一些帮助。............
2022-05-01 15:54:26
4016
8
原创 异常检测方法概述
文章目录前言异常类型离群值2.尖峰与电平转化3.模式变化4.季节性总结前言用户在构建模型之前需要决定的第一件事是将问题表述为监督学习问题还是无监督问题。监督学习方法基于时间序列和训练集中的正常/异常标签训练模型，而无监督方法仅基于时间序列和领域知识构建模型，不需要标记数据。现实世界的异常检测问题通常缺乏标记的历史异常，这可能会阻止用户构建稳健的监督模型。在这种情况下，无监督/基于规则的方法是更好的选择。异常类型异常是一个广义的概念，它可以指代时间序列中许多不同类型的事件。根据具体情况，价值飙升
2022-04-11 21:13:02
1092
原创 TextProcess-Ora：自然语言文本预处理一条龙服务
TextProcess Package这是一个文本预处理的python库，主要是在做自然语言处理任务时，对文本进行一些预处理工作。github地址支持的功能英文字母大写转小写中文繁体转简体中文简体转繁体全角转半角去除emotion表情将emotion表情替换成文字描述去除控制字符去除超链接tag，href去除http超链接将长数字转换成特殊字符过滤括号及括号内的内容【...
2019-10-08 10:50:58
982
原创 TextSimilarScore-文本相似度计算算法库
文本相似度计算compute similar scores of two stringsTextSimilarScore这是个计算两个短文本相似度的算法安装方法pip install TextSimilarScorepip install -r resuirements.txt使用方法import TextSimilarScore.tools.TextSim as tstest =...
2019-10-08 10:48:27
1005
原创 在mac上安装Hanlp及cocoNLP遇到的问题解决
安装时产生的错误 native/common/include/jpype.h:82:10: fatal error: 'map' file not found #include <map> ^~~~~ 1 warning and 1 error generated. error: command 'gcc' failed with e...
2019-07-23 15:17:47
1754
原创 Kalman Filter 通俗讲解
引言Kalman Filter，很多人刚听到这个名词时，总是会下意识认为这就是个滤波器。我这里想要重点声明的是，Kalman Filter不是滤波，它是一种信息融合的过程。 那么Kalman Filter到底是什么？它在那些方面有着应用，它的基本原理又是什么。如果你参考国内的论坛或者教材上，你一定会发现，大部分都是一些复杂公式与枯燥抽象的说明。这里我们将通过尽量通俗易懂的讲解来给大家解释下什...
2018-06-03 16:44:05
55182
12
原创 基于改进的K-means算法在共享交通行业客户细分中的应用
对应实现代码：传送门（实现代码专注于方案的实现，k-means算法的改进并没有在代码云中体现，为方便实现直接采用sklearn标准库算法）摘要：信息时代的来临使得企业营销焦点从产品中心转变为客户中心，客户关系管理成为企业的核心问题。准确的客户分类结果是企业优化营销资源分配的重要依据，客户分类越来越成为客户关系管理中亟待解决的关键问题之一。面对共享单车行业激烈的市场竞争，各个共享交通公司都...
2018-05-30 19:32:23
3211
12
原创 无人驾驶之车辆检测与跟踪
整个项目源码：GitHub引言本次分享主要介绍，如何对道路上的汽车进行识别与跟踪。这里我们实现一个简单的demo。后续我们还会对前面的代码及功能进行重构，从而进一步丰富我们的功能。项目软件框架下图是车辆检测的实现流程图： 具体内容如下： 在有标签的训练数据集上进行Histogram of Oriented Gradients(HOG)特征提取 Nor...
2018-05-30 14:52:43
3564
18
原创 简单交通灯识别Traffic-Light-Classify
整个项目源码：GitHub引言前面我们讲完交通标志的识别，现在我们开始尝试来实现交通信号灯的识别 接下来我们将按照自己的思路来实现并完善整个Project. 在这个项目中，我们使用HSV色彩空间来识别交通灯，可以改善及提高的地方： 可以采用Faster-RCNN或SSD来实现交通灯的识别 首先我们第一步是导入数据，并在RGB及HSV色彩空间可视化部分数据。...
2018-05-15 16:18:40
10354
4
原创 traffic-sign-classifier
本篇博客tensorflow1.7,整个项目源码：github引言本次博客将分享Udacity无人驾驶纳米学位的另一个项目，交通标志的识别。 本次项目实现主要采用CNN卷积神经网络，具体的网络结构参考Lecun提出的LeNet结构。参考文献：Lecun Paper项目流程图本项目的实现流程如下所示： 代码实现及解释接下来我们就按照项目流程图来逐块实现#imp...
2018-05-14 10:48:06
5715
原创 无人驾驶之高级车道线检测-AdvanceLane_finding_release
本篇博客整个项目源码：github引言前面我们介绍车道线检测的处理方法：车道线检测之lanelines-detection 在文章末尾，我们分析了该算法的鲁棒性，当时我们提出了一些解决方法，比如说： 角度滤波器：滤除极小锐角或极大钝角的线段 选取黄色的色调，并用白色代替 在边缘检测前，放大一些特征 但是上述算法还存在一个问题：在弯道处无法检测车道线，因...
2018-05-01 09:24:27
3857
8
原创 车道线检测之lanelines-detection
本篇博客整个项目源码：github NOTE：本文只介绍了基本的车道线检测方法，预测曲率及车辆位置的车道线检测请戳：无人驾驶之高级车道线检测-AdvanceLane_finding_release前言本次博客主要分享Udacity自动驾驶纳米学位的第一个项目，车道线检测算法模型的实现。 本项目主要实现以下几个功能： 在一张图片上检测出车道线，并将其标记成红色 在一段...
2018-04-23 23:05:06
7863
8
原创 无人驾驶之Behaviroal-Cloning实现
引言本篇博客采用了Keras2.1.5,tensorflow1.7,整个项目源码：github 本次博客主要分享Udacity自动驾驶纳米学位的第三个项目，转角预测模型的实现。 该项目的任务是在给定道路图像的前提下，实现一个深度神经网络模型来预测汽车的转角。Udacity开源了一个模拟器。该模拟器有两种模式：训练模式和自动驾驶模式。 在训练模式中，我们将车开到轨道上，并保存帧(.jpg文...
2018-04-21 15:21:20
2371
6
原创 基于时间序列的短期数据预测--ARMA模型的设计与实现(每个步骤附实现源码)
前面我有分享两篇关于时间序列模型的文章，一篇是 [Holt-Winters模型原理分析及代码实现（python)](http://blog.csdn.net/u010665216/article/details/78051192)，[一篇是 LSTM模型分析及对时序数据预测的具体实现（python实现）](http://blog.csdn.net/u010665216/article/details/78140106)。holt-winters是典型的平滑法，一般用于趋势分析和预测。LSTM是一种时间递归神
2018-04-13 11:27:37
19726
15
原创 EB-Boost ：智慧景区共享单车中长期投放量精准预测方法
EB-Boost ：智慧景区共享单车中长期投放量精准预测方法ABSTRACT目前，共享单车已成为景区交通的重要组成部分。共享单车改变了过去景区交通产品和供给主体单一的问题，增加了游客出行消费选择。共享单车在给游客出行带来便利的同时，也对景区交通环境秩序管理造成一定影响。当前，共享单车进入门槛低，各个经营主体为抢占景区市场份额，毫无计划地摆放共享单车。这种行为占用了景区本已有限的空间...
2018-04-13 11:22:52
557
原创 746. Min Cost Climbing Stairs
题目On a staircase, the i-th step has some non-negative cost cost[i] assigned (0 indexed).Once you pay the cost, you can either climb one or two steps. You need to find minimum cost to reach the to...
2018-03-21 10:40:27
582
原创 724. Find Pivot Index
题目Given an array of integers nums, write a method that returns the “pivot” index of this array.We define the pivot index as the index where the sum of the numbers to the left of the index is equal...
2018-03-21 09:25:27
711
原创 674. Longest Continuous Increasing Subsequence
题目Given an unsorted array of integers, find the length of longest continuous increasing subsequence (subarray).Example 1:Input: [1,3,5,4,7]Output: 3Explanation: The longest continuous increas...
2018-03-20 09:01:38
444
原创 697. Degree of an Array
题目Given a non-empty array of non-negative integers nums, the degree of this array is defined as the maximum frequency of any one of its elements.Your task is to find the smallest possible length of...
2018-03-19 19:58:24
474
原创 122. Best Time to Buy and Sell Stock II
题目Say you have an array for which the ith element is the price of a given stock on day i.Design an algorithm to find the maximum profit. You may complete as many transactions as you like (ie, buy ...
2018-03-19 17:45:08
499
原创 717. 1-bit and 2-bit Characters
题目We have two special characters. The first character can be represented by one bit 0. The second character can be represented by two bits (10 or 11). Now given a string represented by several bi...
2018-03-19 16:01:18
442
原创 695. Max Area of Island
题目Given a non-empty 2D array grid of 0’s and 1’s, an island is a group of 1’s (representing land) connected 4-directionally (horizontal or vertical.) You may assume all four edges of the grid are s...
2018-03-19 09:45:19
423
原创 766. Toeplitz Matrix
题目A matrix is Toeplitz if every diagonal from top-left to bottom-right has the same element.Now given an M x N matrix, return True if and only if the matrix is Toeplitz. Example ...
2018-03-14 13:23:05
509
原创 91. Decode Ways
题目A message containing letters from A-Z is being encoded to numbers using the following mapping:'A' -> 1'B' -> 2...'Z' -> 26Given an encoded message containing digits, dete...
2018-03-13 10:42:53
707
原创 42. Trapping Rain Water
题目 Given n non-negative integers representing an elevation map where the width of each bar is 1, compute how much water it is able to trap after raining. For example, Given [0,1,0,2,1,0,1,3,2...
2018-03-05 15:20:23
511
原创 41. First Missing Positive
题目Given an unsorted integer array, find the first missing positive integer.For example,Given [1,2,0] return 3,and [3,4,-1,1] return 2.Your algorithm should run in O(n) time and uses c...
2018-03-05 11:28:35
554
原创 57. Insert Interval
题目Given a set of non-overlapping intervals, insert a new interval into the intervals (merge if necessary).You may assume that the intervals were initially sorted according to their start times....
2018-03-04 14:18:48
477
原创 147. Insertion Sort List
题目Sort a linked list using insertion sort.思路典型的插入排序，方法直接看代码代码/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(in...
2018-03-04 14:16:27
389
原创 148. Sort List
题目Sort a linked list in O(n log n) time using constant space complexity.思路本题要求将一个链表进行排序，空间复杂度为O(1)O(1)O(1)，我们采用归并排序的方法。首先我们实现一个merge函数，然后实现一个getmid函数（用来找中间结点）,最后用递归实现。代码/** * Definition f...
2018-03-04 14:06:51
449
原创 164. Maximum Gap
题目Given an unsorted array, find the maximum difference between the successive elements in its sorted form.Try to solve it in linear time/space.Return 0 if the array contains less than 2 elements...
2018-03-02 17:41:15
553
原创 179. Largest Number
题目Given a list of non negative integers, arrange them such that they form the largest number.For example, given [3, 30, 34, 5, 9], the largest formed number is 9534330.Note: The result may be ve...
2018-03-02 09:59:50
410
ChatGPT探索系列文章合集，涉及理解ChatGPT的来龙去脉，原理背景等方面内容
2023-05-15
三万字保姆级教程+AI绘画+设计、装修、教育+手把手带你玩转Midjourney AI绘画
2023-04-28
AI专题报告之一：AIGC与ChatGPT正掀起新一轮的产业浪潮-从“上网”到“上算”，由“网络世界”至“虚拟现实”
2023-03-14
47页深度研报：揭秘ChatGPT身后的AIGC技术和它的中国同行们.pdf
2023-03-14
2023AIGC市场研究报告及ChatGPT推动的变革趋势与投资机会.pdf
2023-03-14
A Preprocessing Scheme for High-Cardinality Categorical Attributes
2017-11-12
在分类及预测任务中对高维类别变量的预处理方法
2017-11-12
K近邻算法讲解、python实现、k值的确定(python实现，具体代码讲解请看博主博客）
2017-09-25
Python_TreeMap_可视化方案数据源（实现代码，请看我博客专栏《机器学习》）
2017-09-05
Python Matplotlib TreeMap可视化方案数据源（实现代码，请看我博客专栏《机器学习》）
2017-09-04
Python TreeMap可视化方案数据源（实现代码，请看我博客专栏《机器学习》）
2017-09-04
斯坦福大学机器学习课程原始讲义
2017-08-31
The+Practical+Importance+of+Feature+Selection
2017-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人