- 博客(52)
- 收藏
- 关注
RSS订阅原创 pandas 中关于loc跟iloc总结
1、两者对行的处理区别 pandas.loc[1:5] 跟pandas.loc[0:4] 取出来的数据是一样的，这是因为，它是先对数据给定标签，pandas.loc[1:5]是指从1开始给定标签，pandas.loc[0:4]是指从0开始给定标签。同理：pandas.iloc[1:5] 也是一样的。 两者在这里的区别是：pandas.loc[1:5]是从1到5行数据 ， pandas.il
2017-12-14 20:09:36
3330
1
原创 k-近邻算法（R语言实现）+10折K近邻算法
一、k-近邻rm(list=ls())#1read_digits <- function(file) { data = read.table(file) colnames(data)[1] = "zipcode" data[,1] = factor(data[,1]) return(data)}file="train.txt"train = read_digits(".\t
2017-12-10 15:55:39
1180
原创 pickle用法
一、保存文件 （1） X_sp=[1,2,3] pkl_file =open(cfg.data_path + ‘tfidf_10W.feat’,’wb’) pickle.dump(X_sp,pkl_file ,’wb’) pkl_file.close()二、加载打印文件pkl_file = open(cfg.data_path + ‘tfidf_10W.feat’, ‘rb’) X_sp=
2017-11-29 13:17:33
603
转载 2016 CCF大数据与计算智能大赛 开源资料整理
2016 CCF大数据与计算智能大赛 开源资料整理2016 CCF 大数据与计算智能大赛已经落下帷幕，11个赛题由众多大神包揽奖项，其中有些还在赛后开源了比赛资料，现将目前已知的资料整理如下，供各位同学一起参考学习。若有意公开自己的比赛资料或者发现整理的列表中有遗漏的，可以联系我（金陵书生， netivs@qq.com ）补充修订。有问题也可在群里讨论。部分比赛PPT已经放到大数据比赛交流
2017-11-29 10:00:38
848
原创 支持向量机的问题转化与推导
一、概念 已知训练数据集 T={(x1,y1),(x2,y2),......,(xN,yN)}T=\{(x_{1},y_{1}),(x_{2},y_{2}),......,(x_{N},y_{N})\} 分离超平面：y(x)=wx+by(x)=wx+b（1）样本点(xi,yi)(x_{i},y_{i})到分割超平面的函数间隔： r¯i=yi(wxi+b)\over
2017-11-15 20:12:17
492
原创 unix_timestamp 时间戳函数用法（hive）
一、unix_timestamp函数用法 1、unix_timestamp() 得到当前时间戳 2、如果参数date满足yyyy-MM-dd HH:mm:ss形式，则可以直接unix_timestamp(string date) 得到参数对应的时间戳 3、如果参数date满足yyyy-MM-dd HH:mm:ss形式，则我们需要指定date的形式，在进行转换 unix_timestam
2017-10-24 18:55:20
108389
3
原创 朴素bayes实战
from numpy import *###创建一些实验样本#####################def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to
2017-05-18 15:00:45
641
原创 反向传播算法入门资源索引
http://www.52nlp.cn/%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95%E5%85%A5%E9%97%A8%E8%B5%84%E6%BA%90%E7%B4%A2%E5%BC%95
2017-05-17 08:57:20
548
原创 hive 文本解析实例
下面是一个表中的三条数据hive> select * from redis.ods_allhash_activity_0518_quest_receive limit 3;OKkey value ptactivity.0518.quest.receive.191800873463 {"{1={\"index\":1,\"days\":50,\"name\":\"5元红
2017-05-16 14:52:22
895
原创 决策树算法与代码
特征选择问题：特征选择在于选取对训练数据具有分类能力的特征。通常特征选择的准则是信息增益或信息增益比。 设有随机变量(X,Y)，其联合概率分布为： 条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。随机变量X给定的条件下随机变量Y的条件熵(conditional entropy) H(Y|X)，定义为X给定条件下Y的条件概率分布的熵对X的数学期望： 当熵和条件熵中的概率由数据
2017-05-15 21:28:01
609
原创 深度学习开源项目整理
转自https://silencezjl.coding.me/2017/05/01/%E5%81%B7%E4%B8%80%E6%B3%A2%E8%B5%84%E6%BA%90/基于TensorFlow的框架 https://github.com/fchollet/keras https://github.com/tflearn/tflearn https://github.com/beniz/
2017-05-13 15:13:27
3665
1
原创 python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multib
在python3读取txt文件时，遇到上面问题是因为： txt文件存的是utf8编码，打开文件的时候没有指定编码，文件虽然是utf8编码，但是在计算机里面存储的还是unicode编码数据，即计算机是将文件的内容按照utf8编码成unicode后存到了硬盘上，而现在执行f.read()的时候，因为没有指定编码，f.read()可能是发现文件中有中文，所以按照gbk来试图将unicode解码，但是因为
2017-05-02 16:54:03
22670
5
原创 linux安装jdk1.7.0_25
首先下载 jdk-7u75-linux-x64.tar.gz注：最好在本地下载，然后上传到linux 其次：在/usr/local/下新建了java目录，mkdir /usr/local/java 第三：再把 jdk-7u75-linux-x64.tar.gz压缩包从opt目录下复制到/usr/local/java目录下，命令如下： cp jdk-7u75-linux-x64.tar.gz /u
2017-04-30 09:20:19
1691
原创 linux下安装python3.5.3
安装python3.5可能使用的依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel•到python官网找到下载路径, 用wget下载wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz解压tgz包tar
2017-04-29 09:33:46
10163
3
原创 Linux系统下安装rz/sz命令及使用说明
安装步骤如下： （1）编译安装 cd /tmp wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz tar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20 ./configure && make && make install注：这里执行./configure
2017-04-29 08:55:36
1155
原创 tensorflow之逻辑回归
利用MNIST data实现逻辑回归from __future__ import print_functionimport tensorflow as tf# Import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("/MNIST_da
2017-04-28 16:59:11
612
原创 tensorflow之线性回归
下面是利用tensorflow实现线性回归的例子from __future__ import print_functionimport tensorflow as tfimport numpyimport matplotlib.pyplot as pltrng = numpy.random# 设置参数learning_rate = 0.01training_epochs = 1000di
2017-04-28 16:50:22
487
原创 tenserflow实例之最近邻算法
下面是利用MNIST data做的一个最近邻分类'''A nearest neighbor learning algorithm example using TensorFlow library.This example is using the MNIST database of handwritten digits(http://yann.lecun.com/exdb/mnist/)Au
2017-04-28 16:41:07
1028
转载 基于对评论进行分类的持续运行模型
由于工作的原因，在运行tensorflow时，有时候必须中断训练，而为了下次再训练的时候可以接着上次的模型继续运行，做了如下整理： 代码如下：import osimport randomimport tensorflow as tfimport pickleimport numpy as npfrom nltk.tokenize import word_tokenizefrom nlt
2017-04-27 16:14:46
466
原创 word2vec_basic代码解析
import collectionsimport mathimport osimport randomimport zipfileimport numpy as npfrom six.moves import urllibimport tensorflow as tf# 如果下载失败，就手动下载http://mattmahoney.net/dc/text8.zip到sz07.01.py
2017-04-26 14:46:55
544
原创 自动化下载文件code
url = 'http://mattmahoney.net/dc/'def maybe_download(filename, expected_bytes): if not os.path.exists(filename): filename, _ = urllib.request.urlretrieve(url + filename, filename) stati
2017-04-26 13:11:03
573
转载 使用朴素贝叶斯进行文本的分类
转载与http://blog.csdn.net/jasonding1354/article/details/45463677#comments 引言朴素贝叶斯由贝叶斯定理延伸而来的简单而强大的概率模型，它根据每个特征的概率确定一个对象属于某一类别的概率。该方法基于一个假设，所有特征需要相互独立，即任一特征的值和其他特征的值没有关联关系。 虽然这种条件独立的假设在许多应用领域未必能很好满足，甚至是
2017-04-18 16:41:51
665
原创 tensorflow之tf.contrib.learn Quickstart
一、载入必要的模块from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport osimport urllibimport tensorflow as tfimport numpy as npIRIS_TRAINING = "ir
2017-04-16 22:32:46
1069
转载 数十种TensorFlow实现案例汇集：代码+笔记
本文转载于http://blog.csdn.net/mydear_11000/article/details/52879710这些案例适合那些想要清晰简明的 TensorFlow 实现案例的初学者。本教程还包含了笔记和带有注解的代码。项目地址：https://github.com/aymericdamien/TensorFlow-Examples教程索引0 - 先决条件机器学习入门：笔记：https
2017-04-16 12:28:25
564
原创 基于tensortflow的多层感知机模型
'''A Multilayer Perceptron implementation example using TensorFlow library.This example is using the MNIST database of handwritten digits(http://yann.lecun.com/exdb/mnist/)Author: Aymeric DamienPr
2017-04-16 12:23:14
895
原创 深度学习资料整理
作为人工智能领域一个重要的研究分支，深度学习技术几乎出现在当下所有热门的AI应用领域，包括语音识别，语义理解，图像识别，大数据分析等等，甚至有人把当前的人工智能等同于深度学习。面对如此重要的江湖地位，我们相信一定有为数众多的 AI 开发者对深度学习技术充满了好奇心，想要快速着手使用这项强大的技术来解决现实生活中的实际问题。因此，AI研习社将围绕深度学习技术整理一个系列文章，全面覆盖与其相关的各项知识
2017-04-14 15:13:35
2119
原创 深度学习相关资料总结
深度学习相关资料总结 2014-09-30 19:43 本站整理 浏览(65) 注：本文转自邹宇华的博文《深度学习相关资料总结》 近这两年里deep learning技术在图像识别和跟踪等方面有很大的突破，是一大研究热点，里面涉及的数学理论和应用技术很值得深入研究，这里总结一些在微博发布和转载的相关资料，以便查阅： 一、 @winsty NIPS2013# “Learning A Dee
2017-04-11 17:50:35
596
原创 机器学习相关算法网址
如果你想搜索比较新颖的机器学习资料或是文章，可以到以下网站中搜索，里面不仅包括了机器学习的内容，还有许多其它相关领域内容，如数据科学和云计算等。 InfoWord：http://www.infoworld.com/reviews/ Kdnuggets：http://www.kdnuggets.com Datasciencecentral：http://www.datasciencecentra
2017-04-10 08:42:28
528
原创 贝叶斯（Kaggle比赛之影评与观影者情感判定）
本文参考博客http://blog.csdn.net/han_xiaoyang/article/details/50629608而来import re #正则表达式from bs4 import BeautifulSoup #html标签处理import pandas as pd##############数据导入#############def review_to_wordlist(re
2017-04-09 13:59:30
1639
原创 贝叶斯分类实例（Kaggle比赛之『旧金山犯罪分类预测』）
这里我参照的是http://blog.csdn.net/longxinchen_ml/article/details/50629613 这篇博客。import pandas as pdimport numpy as np###############读入数据##################用pandas载入csv训练数据，并解析第一列为日期格式train=pd.read_csv('F
2017-04-09 12:35:52
3758
原创 验证码识别
转载与http://blog.topspeedsnail.com/archives/10858本文实现了验证码是识别，这里对captcha库生成的验证码有效，尝试了几次自己下载的验证码，感觉不是太好！一、生成验证码from captcha.image import ImageCaptcha # pip install captcha import numpy as np import ma
2017-04-07 17:21:05
1868
原创 知乎爬虫
这个刚开始可以爬，后来发现不能登录了。import urllib.parse,urllib.request,http.cookiejar,recookie = http.cookiejar.CookieJar() cookieProc = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener
2017-04-07 10:16:56
620
原创 douban 模拟自动登录爬去数据
python 自动登录import urllib.parse,urllib.request,http.cookiejar #########################封装cookie信息################################cookie = http.cookiejar.CookieJar() cookieProc = urllib.request.HTTPCoo
2017-04-07 10:13:15
626
原创 基于手写字体的识别系统
转载于https://zhuanlan.zhihu.com/p/24698483import tensorflow as tfimport osimport randomimport tensorflow.contrib.slim as slimimport timeimport loggingimport numpy as npimport picklefrom PIL impor
2017-04-06 10:08:32
3032
1
原创 Python 模块学习：os模块
转载于http://www.cnblogs.com/BeginMan/p/3327291.html 一、os模块概述Python os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。(一语中的)二、常用方法 1、os.name 输出字符串指示正在使用的平台。如果是window 则用’nt’表示，对于Linux/Unix用户，它是’posix’。2、os.
2017-04-06 09:24:20
304
原创 Python os.walk文件遍历
os.walk(top, topdown=True, onerror=None, followlinks=False) 可以得到一个三元tupple(dirpath, dirnames, filenames), 第一个为起始路径，第二个为起始路径下的文件夹，第三个是起始路径下的文件。 dirpath 是一个string，代表目录的路径， dirnames 是一个list，包含了dirpa
2017-04-06 08:46:32
1418
原创 tensorflow 常用函数整理
1、tf.ones(shape,type=tf.float32,name=None) tf.ones([2, 3], int32) ==> [[1, 1, 1], [1, 1, 1]]2、tf.zeros(shape,type=tf.float32,name=None) tf.zeros([2, 3], int32) ==> [[0, 0, 0], [0, 0, 0]]3、t
2017-04-05 13:44:51
482
原创 TensorFlow 图像数据预处理及可视化
注：文章转自《慢慢学TensorFlow》微信公众号图像是人们喜闻乐见的一种信息形式，“百闻不如一见”，有时一张图能胜千言万语。图像处理是利用计算机将数值化的图像进行一定（线性或非线性）变换获得更好效果的方法。Photoshop，美颜相机就是利用图像处理技术的应用程序。深度学习最重要的应用领域就是计算机视觉（CV, Computer Vision），历史上，MNIST 手写体数字识别和 ImageN
2017-04-05 13:40:38
1996
原创 Deep learning 与传统的神经网络的区别
Deep learning本身算是machine learning的一个分支，简单可以理解为neural network的发展。 Deep learning与传统的神经网络之间有相同的地方也有很多不同。 二者的相同在于deep learning采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层
2017-03-29 18:04:02
9082
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人