- 博客(16)
- 收藏
- 关注
RSS订阅转载 selenium的wait.until()
package com.test.elementwait;import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import org.openqa.selenium.firefox.FirefoxDriver;import org.openqa.selenium.support.ui.ExpectedCondi...
2020-02-11 11:26:08
8075
2
转载 scrapy的setting
第一部分：基本配置1、项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名BOT_NAME = ...
2019-11-04 16:49:12
141
原创 日常错误收集——1--pyc
py与pyc先来进行一段简短的阅读了解python这门语言里面pyc的含义当你读完这些时你应该不会犯我的错误了，我来描述一下我犯的错误。我是一个爬虫实习生，在测试环境中进行了大量的测试后，确认代码的无误后，将其放入了生产环境下，当晚变回去了，第二天查看日志一看，发现一些错误立马进行代码查看，但是我发现我的代码并没有使用到错误提示的一些方法，然后查看crontab -l定时任务，scrapy ...
2019-10-12 11:14:37
157
原创 sklearn实现PCA降维
PCA数据分析pca听起来是不是很不怎么样，但是但凡你是大数据方向的，那么你可就要警惕一下了，没了它你可能会无从下手对于上千，万维度的数据特征处理起来，下来我就先简单解释一下PCA是何方神圣PCA概要PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。假如不好理解，就是简单...
2019-08-22 19:38:51
1931
原创 SK-Learn随机梯度下降法
今天复习了梯度，感触多深，但我还是选择了sklearn哈哈from sklearn.linear_model import SGDRegressor # 梯度下降from sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.preproc...
2019-08-20 19:19:27
159
原创 随机梯度下降法底层
import numpy as npimport matplotlib.pyplot as plt数据集创建m= 100000x=np.random.normal(size=m)X=x.reshape(-1,1)y=4.*x+3.+np.random.normal(0,3,size=m)其实效用不大，但不定义，又违背了梯度下降算法的要求求导求y值def J(theta,X...
2019-08-20 19:14:29
109
原创 梯度下降底层实现
梯度下降首先要了解什么是梯度下降：在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad f(x,y)或者▽f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0, ∂f/∂y0)T.或者▽f(x0,y0)，如果是3个参数的向量梯度...
2019-08-20 19:09:58
123
原创 线性回归的SK实现
SK实现线性回归直接来干货import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import load_boston from sklearn.cross_validation import train_test_splitfrom sklearn.metrics import r2_score,m...
2019-08-19 20:32:23
118
原创 线性回归的底层实现
定义： 通过一组训练集的特征，来进行线性组合，拟合一个函数，对其余对应的特征进行预测首先线性回归先从简单的线性回归来进入主题这里就是简单的一个一元方程很容易看出，所以算法实现直接来import numpy as npimport matplotlib.pyplot as pltx=np.array([1.,2.,3.,4.,5.])y=np.array([1.,3.,2.,3...
2019-08-19 20:26:19
376
转载 回归算法的效果分析
前言分类问题的评价指标是准确率，那么回归算法的评价指标就是MSE，RMSE，MAE、R-Squared。下面一一介绍均方误差（MSE）MSE （Mean Squared Error）叫做均方误差。看公式image.png这里的y是测试集上的。用 真实值-预测值 然后平方之后求和平均。猛着看一下这个公式是不是觉得眼熟，这不就是线性回归的损失函数嘛...
2019-08-19 11:09:08
934
原创 解决maven下Spark与scala的包不兼容问题
从头开始来搭建一个maven的是spark与scala的项目首先下载scala 的 IDEeclipse的help 下有一个marketplace点进去然后如下图我可能会出现找不到，千万不要急，可能是eclipse版本低了，可以换一个高版本来，或者使用手动导入就好installed 全部呀！然后 嘿嘿重点来了到这里maven的建造框架里面进来后点击 add Remote Ca...
2019-08-18 19:47:02
1258
转载 Mevan_scala 的小bug 的meansure
使用maven创建scala项目，scala-archetype-simple有bug，会遇到一些问题，这里整理记录一下。我的环境是:maven 3.3.9...
2019-08-18 16:51:06
654
原创 基于Sklearn的KNN的代码实现
Sklearn的KNN很早以前就写过SK的KNN但一直没写过博客，一直偷懒，最近良心发现！ps：找工作，没的博客拿不出手啊哈哈，于是开始来把以前的学习的知识一起share#sklearn.datasets 里面调入波士顿房价的数据from sklearn.datasets import load_bostonboston=load_boston()# sklearn.cross_val...
2019-08-16 20:38:47
746
原创 KNN底层的实现
KNN基础了解学习KNN了解KNNKNN的基本原理代码学习KNN了解KNN邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，...
2019-08-16 19:58:07
310
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人