- 博客(13)
- 收藏
- 关注
转载 用scikit-learn估计值分类——近邻算法(KNN)
用scikit-learn估计值分类主要是为数据挖掘搭建通用的框架。有了这个框架之后,增加了算法的泛化性,减少了数据挖掘的复杂性。用scikit-learn估计值分类有这三个方面: 1. 估计器(estimator):用于分类、聚类和回归分析。 2. 转换器(transformer):用于数据的预处理和数据的...
2017-05-19 09:43:00
404
转载 python算法演练——One Rule 算法
这样某一个特征只有0和1两种取值,数据集有三个类别。当取0的时候,假如类别A有20个这样的个体,类别B有60个这样的个体,类别C有20个这样的个体。所以,这个特征为0时,最有可能的是类别B,但是,还是有40个个体不在B类别中,所以,将这个特征为0分到类别B中的错误率是40%。然后,将所有的特征统计完,计算所有的特征错误率,再选择错误率最低的特征作为唯一的分类准则——这就是OneR。...
2017-05-16 22:34:00
333
转载 数据挖掘——亲和性分析
亲和性分析根据样本个体之间的相似度,确定它们关系的亲疏。应用场景:1.向网站用户提供多样化的服务或投放定向广告。2.为了向用户推荐电影或商品3.根据基因寻找有亲缘关系的人比如:统计顾客购买了商品1,然后再购买商品2的比率,算相似度。import numpy as npdataset_filename = "affinity_dataset.txt"x = ...
2017-05-13 21:30:00
270
转载 Scraper_compare('NoneType' object has no attribute 'group')
三种解析网页的方法各有所用,各有特点。通过,对比三种方式更能明白在什么情况之下采用什么方法。其中,运行代码时,可能会遇到一个bug(results[field] = re.search('<tr id="places_%s__row">.*?<td class="w2p_fw">(.*?)</td>' % field, html).group()...
2017-05-12 10:08:00
152
转载 Scraper——BeautifulSoup and LXML
爬虫解析方式除了正则表达式,还有BeautifulSoup包和LXML模块。现在分别来介绍这两种方式。1.BeautifulSoup包功能比正则表达式很多,且要简洁明白一些。但是,由于它是用python编写出来的包,速度会慢一些。# 数据抓取——BeautifulSoup包'''官方文档:https://www.crummy.com/software/BeautifulS...
2017-05-10 10:51:00
146
转载 Scraping_regex
上面链接爬虫只是能将我们所需的网页下载下来,但是,我们没办法得到我们想要的数据。因此,我们只有URL管理器和URL下载器是不足以组成一个完整的网络爬虫的。我们还需要URL解析器,对数据进行提取。数据抓取(Scraping)有三种方式:1.正则表达式;2.第三方包——BeautifulSoup;3.lxml模块1.正则表达式(regex)方法。'''数据抓取:从网页中抓...
2017-05-07 10:09:00
101
转载 Linux:sudo,没有找到有效的 sudoers 资源。
第一次遇到这个问题时,自己误打误撞解决了。但是,当第二次遇到的时候,却不知道怎么办才好了。所以,百度 Google 了一下,加上自己总结知道了解决的办法。首先,这是因为用户的权限不够导致的。使用 ls -l /etc/passwd 查看所有用户及权限。只有可读权限(r),说明用户的权限不够。因此,我们可以用以下方法修改用户权限: 1. su root ...
2017-05-07 09:46:00
1632
转载 Crawler——链接爬虫
对数据的提取和收集也是数据分析中一大重点,所以,学习爬虫是非常有用的。完成数据采集,对后面的数据分析做下基础。今天,要介绍的是来自《Web Scraping With Python》中的一个示例——链接爬虫。对于此类进行了简单的总结,便于相互学习。#! /usr/bin/env python# -*- coding:utf-8 -*-import reimport...
2017-05-05 23:40:00
221
转载 Python中关于CSV文件中的I/O
这用pandas包进行数据处理的时候,会遇到一些文件的输出与写入。比如csv文件,是一种比较常见的文件,它以逗号作为分隔符。所以,总结一下运用pandas数据处理包,处理csv文件的输出与写入方式。# 数据读取import pandas as pd# 这是文件有标头的df = pd.read_table("ex1.csv", sep= ",")# print df...
2017-05-01 22:10:00
148
转载 Python数据处理进阶——pandas
对于python进行数据处理来说,pandas式一个不得不用的包,它比numpy很为强大。通过对《利用python进行数据分析》这本书中介绍pandas包的学习,再加以自己的理解,写下这篇随笔,与一起喜欢数据分析的朋友分享和相互学习。import numpy as npimport pandas as pdfrom pandas import Series, DataFr...
2017-04-25 15:44:00
168
转载 Python数据处理——numpy_3
通过前面两次的学习,基本上对numpy有了一定的认识,所以,接下来进一步对numpy学习。同时,最后以一个有趣的例子加深对numpy的理解。import numpy as npxarr = np.array([1.1, 1.2, 1.3, 1.4, 1.5])yarr = np.array([2.1, 2.2, 2.3, 2.4, 2.5])cond = np.arr...
2017-04-24 08:45:00
145
转载 python数据处理——numpy_2
上一次的学习了numpy的一些基础操作,今天接着学习numpy的高级索引、轴对换数值转置以及作图。#花式索引import numpy as np'''t = np.empty((8,4)) #建立一个8行4列的空数组for i in range(8): t[i] = i'''#print t#print t[[4, 3, 0, 6]] 选取特...
2017-04-20 18:53:00
79
转载 Python数据处理——numpy_1
python中数据处理最基础的一个包——numpy。它能很好的进行数据准备,类似与R语言中的数据框(DataFrame)一样。今天,就来从最基础的开始学习。import numpy as npdata = [[0.95, -0.25, -0.89], [0.56, 0.24, 0.91]]data = np.array(data)#print data * 10#pri...
2017-04-18 08:49:00
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人