自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

赖德发的博客

征途路上,星辰大海,交流微信:laidefa

原创 【mysql 分组取前几条】 先按某字段分组再取每组中前N条记录

先造数据 1、建表CREATE TABLE `t2` ( `id` int(11) NOT NULL, `gid` char(1) DEFAULT NULL, `col1` int(11) DEFAULT NULL, `col2` int(11) DEFAULT NULL, ...

2017-08-31 14:59:26

阅读数 2682

评论数 0

原创 【R语言 数据处理】R做数据处理中的小技巧

一、主要内容 创建新变量 修改数据 修改变量名 处理缺失值 数据排序 数据合并 数据筛选 抽样二、R语言代码rm(list=ls()) gc() manager <- c(1,2,3,4,5) date <- c("10/24/08", "...

2017-08-31 11:35:42

阅读数 3225

评论数 0

原创 【scala 语法基础】变量、函数、控制结构、数据类型

一、主要内容 Scala中变量的声明与函数定义 Scala中的控制结构 Scala中的数据类型1:变量声明与函数定义 变量声明:val 和 var ,两者的区别是val声明的变量是不可变的,而var声明的变量可变带返回值scala> def max(x:Int,y:Int):I...

2017-08-31 10:45:46

阅读数 253

评论数 0

原创 【二分-kMeans算法】二分K均值聚类分析与Python代码实现

一、k-means算法优缺点 k均值简单并且可以用于各种数据类型,它相当有效,尽管常常多次运行。然后k均值并不适合所有的数据类型。它不能处理非球形簇,不同尺寸和不同密度的簇。对包含离群点(噪声点)的数据进行聚类时,k均值也有问题。二、k-means算法python实现#encoding:utf-...

2017-08-31 09:57:29

阅读数 693

评论数 0

原创 【ML--15】在R语言中使用决策树算法做多分类预测

1、R实现代码####################################决策树算法################# rm(list=ls()) gc() options(scipen = 200) library(party) iris <- iris ##########划...

2017-08-30 17:59:09

阅读数 1926

评论数 0

原创 【ML--14】在R语言中使用SVM算法做多分类预测

我们采用iris数据集进行学习和测试,最后看看它的效果。 1、载入SVM算法包library(e1071)2、划分训练和测试集划分训练和测试集时,采用set.seed函数设随机数种子,这能保证划分得到的训练和测试集与C5.0完全相同,方便后续测试效果的比较。set.seed(2016) tra...

2017-08-30 17:40:59

阅读数 2135

评论数 0

原创 【R语言 爬虫】Rwebdriver 安装方法

RSelenium和Rwebdriver个人刚接触不久,除了语法不太一样以为,都是调用的Selenium Server。一个是2012年发布的包,一个是比较新的包需要在github下载。个人推荐使用Rwebdriver,不仅因为新,跟python里的RSelenium函数很多非常相似。安装步骤li...

2017-08-30 16:26:17

阅读数 982

评论数 0

原创 【mysql 增删改查】MySql数据库的查询、删除、增加、修改语句

介绍mysql数据库的基本操作,曾、删、查、改。查询表的外连接等常用数据库语句。设置数据库可以被其他计算机连接 。1、查询数据:select * from xxx; 例子:(1)select id,username,password from t_user; (2)select id,usern...

2017-08-30 15:05:53

阅读数 685

评论数 0

原创 【python txt合并】python合并同一个文件夹下所有txt文件

一、需求分析 合并一个文件夹下所有txt文件 二、合并效果 三、python实现代码# -*- coding:utf-8*- import sys reload(sys) sys.setdefaultencoding('utf-8')import os import os...

2017-08-30 11:41:35

阅读数 11382

评论数 9

原创 【python Excel 合并】python合并同一个文件夹下所有excel文件

一、需求说明 一个文件夹下有多个excel表格,格式统一,均为 xlsx后缀,字段也一样,现在要合并为一个excel表格。 二、合并效果 三、python 实现代码# -*- coding:utf-8*- import sys reload(sys) sys.setdefaultencodi...

2017-08-30 11:15:56

阅读数 2151

评论数 0

原创 【python PDF合并】python 合并同一个文件夹下所有PDF文件

一、需求说明 下载了网易云课堂的吴恩达免费的深度学习的pdf文档,但是每一节是一个pdf,我把这些PDF文档放在一个文件夹下,希望合并成一个PDF文件。于是写了一个python程序,很好的解决了这个问题。二、数据形式 三、合并效果 四、python代码实现# -*- codi...

2017-08-30 10:16:40

阅读数 8900

评论数 3

原创 【python 图像绘制】图像绘制知识总结

颜色图谱 具体颜色描述 autumn 红橙黄 cool 青-洋红 copper 黑-铜 flag 红-白-蓝-黑 gray 黑-白 hot 黑-红-黄-白 hsv hsv颜色空间, 红-黄-绿-青-蓝-洋红-红 inferno 黑-红-黄 jet 蓝-青-黄-红 mag...

2017-08-29 15:36:47

阅读数 659

评论数 0

原创 【python 图像处理】skimage的子模块介绍

skimage包的全称是scikit-image SciKit (toolkit for SciPy) ,它对scipy.ndimage进行了扩展,提供了更多的图片处理功能。它是由python语言编写的,由scipy 社区开发和维护。skimage包由许多的子模块组成,各个子模块提供不同的功能。主...

2017-08-29 14:53:13

阅读数 2631

评论数 3

原创 【python 图像切割】matplotlib读取图像,裁剪图像

#-*-coding:utf-8-*- import sys reload(sys) sys.setdefaultencoding('utf-8')import matplotlib.pylab as plt # 加载图像 im = plt.imread("E:/ID...

2017-08-29 14:47:38

阅读数 3767

评论数 0

原创 【matlab 图像处理】MATLAB中图像处理的函数

MATLAB 图像处理命令1、 MATLAB中图像处理的一些简单函数A、 imread imread函数用于读入各种图像文件,其一般的用法为 [X,MAP]=imread(‘filename’,‘fmt’)其中,X,MAP分别为读出的图像数据和颜色表数据,fmt为图像的格式,filename为...

2017-08-29 14:21:30

阅读数 1832

评论数 0

原创 【python 爬虫】linux 下 selenium+phantomjs 自动模拟登陆

#!/usr/bin/python #-*-coding:utf-8-*- import urllib import re import sys reload(sys) sys.setdefaultencoding('utf-8') import urllib2 import ...

2017-08-29 12:22:12

阅读数 1578

评论数 0

原创 【python 人脸检测】opencv 进行人脸检测

#coding=utf-8 import time time1=time.time() import cv2 #初始化 opencv 的 Cascade Classification,它的作用是产生一个检测器 faceCascade = cv2.CascadeClassifier("E:...

2017-08-29 11:19:09

阅读数 1528

评论数 0

原创 【python 验证码】产生中文验证码

#-*-coding:utf-8-*- import sys reload(sys) sys.setdefaultencoding('utf-8')from PIL import ImageDraw,ImageFont from PIL import Image import ...

2017-08-28 15:24:46

阅读数 4301

评论数 4

原创 【python 爬虫】python中url链接编码处理方法

一、问题描述 有些网址,会把中文编码成gb2312格式,例如百度知道,美容这一词,网址上面会编码成:%C3%C0%C8%DD那么如何生成这种编码呢?二、解决方法 1、把要编码的文字encode成所需格式 2、利用urllib 库的quote方法编码# -*- coding:utf-8*- i...

2017-08-27 10:57:32

阅读数 3011

评论数 0

原创 【python 爬虫】python如何以request payload形式发送post请求

普通的http的post请求的请求content-type类型是:Content-Type:application/x-www-form-urlencoded, 而另外一种形式request payload,其Content-Type为application/jsonimport json url...

2017-08-25 17:24:03

阅读数 11851

评论数 0

原创 【ML--13】聚类--层次聚类

一、基本概念 层次聚类不需要指定聚类的数目,首先它是将数据中的每个实例看作一个类,然后将最相似的两个类合并,该过程迭代计算只到剩下一个类为止,类由两个子类构成,每个子类又由更小的两个子类构成。层次聚类方法对给定的数据集进行层次的分解,直到某种条件满足或者达到最大迭代次数。具体又可分为: 凝聚的...

2017-08-24 11:41:01

阅读数 340

评论数 0

原创 【python 图像拼接】 微信好友头像下载和拼接技术

今天突发奇想,想到图像拼接的技术,做了一个自己微信好友的图像拼接,感觉还蛮好玩的。5*5 10*10 19*19 实现代码1:微信头像爬虫:#-*-coding:utf-8-*- import urllib import re import sys reload(sys) sys.setde...

2017-08-23 10:56:33

阅读数 2270

评论数 0

原创 【ML--12】聚类---K-means算法

1. 归类: 聚类(clustering) 属于非监督学习 (unsupervised learning) 无类别标记(class label)2. 举例:3. K-means 算法: 3.1 Clustering 中的经典算法,数据挖掘十大经典算法之...

2017-08-22 17:39:36

阅读数 391

评论数 0

原创 【DL--22】实现神经网络算法NeuralNetwork以及手写数字识别

1.NeuralNetwork.py#coding:utf-8import numpy as np#定义双曲函数和他们的导数 def tanh(x): return np.tanh(x)def tanh_deriv(x): return 1.0 - np.tanh(x)**2def...

2017-08-22 17:18:42

阅读数 1432

评论数 0

原创 【python 爬虫】全国失信被执行人名单爬虫

一、需求说明 通过百度的接口,爬取全国失信被执行人名单。翻页爬虫,获取姓名,身份证等信息。二、python实现版本1:# -*- coding:utf-8*- import sys reload(sys) sys.setdefaultencoding('utf-8') imp...

2017-08-22 09:50:59

阅读数 2641

评论数 3

原创 【python 爬虫】全国失信被执行人名单查询功能

一、需求说明 利用百度的接口,实现一个全国失信被执行人名单查询功能。输入姓名,查询是否在全国失信被执行人名单中。二、python实现# -*- coding:utf-8*- import sys reload(sys) sys.setdefaultencoding('utf-8...

2017-08-22 09:44:46

阅读数 3099

评论数 2

原创 【深度学习 环境配置】软件包安装和环境配置

OS: Linux: Ubuntu 14.04安装:1. Pip (Python 2.7.9或以上自带pip): sudo apt-get install pyton-pip2. 尝试安装scikit-neuralnetwork: 需要 numpy scipy theanosudo pip i...

2017-08-17 22:06:39

阅读数 775

评论数 0

原创 【DL--21】深度学习57个专业术语

激活函数(Activation Function)为了让神经网络能够学习复杂的决策边界(decision boundary),我们在其一些层应用一个非线性激活函数。最常用的函数包括 sigmoid、tanh、ReLU(Rectified Linear Unit 线性修正单元) 以及这些函数的变体...

2017-08-17 17:34:39

阅读数 2054

评论数 0

原创 【DL--20】各种编程语言的深度学习库整理

本文总结了Python、Matlab、CPP、Java、JavaScript、Lua、Julia、Lisp、Haskell、.NET、R等语言的深度学习库,赶紧收藏吧!Python1. Theano是一个python类库,用数组向量来定义和计算数学表达式。它使得在Python环境下编写深度学习算法...

2017-08-17 17:06:25

阅读数 1722

评论数 0

原创 【DL--19】R语言---python 使用MLP分类 MNIST 手写数字

R语言版本:rm(list=ls()) gc()library(keras) library(tensorflow) # #加载keras中 内置的 mnist 数据集 data<-dataset_mnist() #分离训练和测试文件 train_x<-data$train$x tra...

2017-08-17 15:16:53

阅读数 531

评论数 0

原创 【DL--18】Windows下基于Anaconda的Tensorflow环境配置

1、Anaconda下载安装:https://www.continuum.io/downloads 版本为:Anaconda3,for windows,64bit(tensorflow在windows下只支持Python 3.5以上、amd64)2、Anaconda使用:打开“开始目录”,找到...

2017-08-17 15:12:16

阅读数 331

评论数 0

原创 【DL--17】在R中使用Keras和TensorFlow

随着 采用R基于tensorflow (CPU 和 GPU 兼容)的Keras 库的发布,R语言也进军深度学习啦,下面开始安装TensorFlow 和Keras ,因为Keras 包含了TensorFlow ,我们只需要安装Keras即可。一、安装: install.packages(&qu...

2017-08-17 11:19:19

阅读数 5842

评论数 1

原创 【DL--16】深度学习架构清单

1. AlexNet AlexNet 是首个深度架构,它由深度学习先驱 Geoffrey Hinton 及其同僚共同引入。AlexNet 是一个简单却功能强大的网络架构,为深度学习的开创性研究铺平了道路。论文:ImageNet Classification with Deep Convoluti...

2017-08-17 10:05:34

阅读数 398

评论数 0

原创 【mysql 卡死处理】MYSQL--慢查询卡死等处理

命令: show processlist; 如果是root帐号,你能看到所有用户的当前连接。如果是其它普通帐号,只能看到自己占用的连接。 show processlist;只列出前100条,如果想全列出请使用show full processlist; mysql> show p...

2017-08-16 16:40:43

阅读数 4574

评论数 0

原创 【R语言 矩阵相乘】R语言矩阵相乘100次

【D1 D2】2*1 【T1 T2】1*2我想让帮做这么一个简单的矩阵,要求D1和D2随机的变动rm(list=ls()) gc()options(scipen = 2000) #################定义TT矩阵(1*2) TT <- matrix(c(1,3),1,2)DD...

2017-08-16 14:40:24

阅读数 4262

评论数 0

原创 【python 爬虫】身份证归属地爬虫

输入数据:身份证号码 # -*- coding:utf-8*- import sys reload(sys) sys.setdefaultencoding('utf-8') import time import requests from lxml import etree t...

2017-08-16 09:41:40

阅读数 2451

评论数 1

原创 【python 爬虫】selenium爬虫模块 phantomjs如何加代理IP

phantomjs在初始化WebDriver时就没有留proxy参数 所以可以像下图一样改一下phantomjs类的源码,就可以在phantomjs中传入proxy参数了修改 下面的代码:class WebDriver(RemoteWebDriver): ""&qu...

2017-08-15 16:48:46

阅读数 3680

评论数 1

原创 【ML--11】数据挖掘岗位需要具备的3 种基本能力

1. 工程能力( 1 )编程基础:需要掌握一大一小两门语言,大的指 C++ 或者 Java ,小的指Python 或者 shell 脚本;需要掌握基本的数据库语言;建议:MySQL + python + C++ ;语言只是一种工具,看看语法就好;推荐书籍:《C++ primer plus 》( 2...

2017-08-15 11:30:59

阅读数 1728

评论数 0

原创 【ML--10】常用的机器学习&数据挖掘知识(点)总结

Basis(基础):MSE(Mean Square Error 均方误差), LMS(LeastMean Square 最小均方), LSM(Least Square Methods 最小二乘法), MLE(MaximumLikelihood Estimation最大似然估计), QP(Q...

2017-08-15 10:57:20

阅读数 2554

评论数 0

原创 【R语言 聚类比较】k-means 与dbscan

DBSCAN的算法是将所有点标记为核心点、边界点或噪声点,将任意两个距离小于eps的核心点归为同一个簇。任何与核心点足够近的边界点也放到与之相同的簇中。下面我们来使用R语言中的fpc包来对上面的例子实施密度聚类。其中eps参数设为0.6,即两个点之间距离小于0.6则归为一个簇,而阀值MinPts设...

2017-08-14 11:30:52

阅读数 2907

评论数 0

提示
确定要删除当前文章?
取消 删除