2017年12月_东华果汁哥

原创【Github git命令】Git 上传源代码步骤

git 命令提交代码打开git bash：git initgit add .git commit -m "first commit"#添加远程仓库git remote add origin https://github.com/laidefa/Scrapy_BaiduImage.git#删除远程仓库git remote rm origin###上传github之前

2017-12-28 11:44:51 919

原创【深度学习 CNN】卷积神经网络模型--AlexNet（CNN )

AlexNet模型算法步骤：AlexNet的整个网络结构由8层神经元组成，其中前5层为卷积层，用于提取图像特征。后3层为全连接层，用于图像分类。具体如下：1、输入图片是224*224 像素的3通道照片 2、第一层使用11*11的卷积核，滑动步长为4个像素，输出96个特征图，并进行最大池化； 3、第二层使用5*5卷积核，卷积产生256个特征图，并进行最大池化。 4、第三层使用3*3卷积核，输

2017-12-28 10:45:05 927

原创【scala 迭代器】Scala Iterator（迭代器）

1、Scala Iterator（迭代器）不是一个集合，它是一种用于访问集合的方法。 2、迭代器 it 的两个基本操作是 next 和 hasNext。 3、调用 it.next() 会返回迭代器的下一个元素，并且更新迭代器的状态。 4、调用 it.hasNext() 用于检测集合中是否还有元素。 5、让迭代器 it 逐个返回所有元素最简单的方法是使用 while 循环。 6、你可以使用

2017-12-27 17:10:11 2537

原创【Scala 继承】Scala 中的继承

Scala继承一个基类跟Java很相似, 但我们需要注意以下几点： 1、重写一个非抽象方法必须使用override修饰符。 2、只有主构造函数才可以往基类的构造函数里写参数。 3、在子类中重写超类的抽象方法时，你不需要使用override关键字。 4、继承会继承父类的所有属性和方法，Scala 只允许继承一个父类。import java.io._class Point(val xc: Int

2017-12-27 17:00:05 889

原创【Scala 类和对象】Scala 类和对象

1、类是对象的抽象，而对象是类的具体实例。类是抽象的，不占用内存，而对象是具体的，占用存储空间。类是用于创建对象的蓝图，它是一个定义包括在特定类型的对象中的方法和变量的软件模板。我们可以使用 new 关键字来创建类的对象。 2、Scala中的类不声明为public，一个Scala源文件中可以有多个类。 3、Scala 的类定义可以有参数，称为类参数，如上面的 xc, yc，类参数在整个类中都可以

2017-12-27 16:52:18 630

原创【Scala 正则表达式】Regex 类来支持正则表达式

1、匹配功能 Scala 通过 scala.util.matching 包中的 Regex 类来支持正则表达式如果需要查看所有的匹配项可以使用 findAllIn 方法。你可以使用 mkString( ) 方法来连接正则表达式匹配结果的字符串，并可以使用管道(|)来设置不同的模式：package DataStructureAndAlgorithm/** * Created by Admin

2017-12-27 16:34:00 635

原创【Scala 异常处理】Scala 异常处理

1、Scala抛出异常2、Scala捕获异常Scala 的异常处理和其它语言比如 Java 类似。 Scala 的方法可以通过抛出异常的方法的方式来终止相关代码的运行，不必通过返回值。捕捉异常的catch子句，语法与其他语言中不太一样。在Scala里，借用了模式匹配的思想来做异常的匹配，因此，在catch的代码里，是一系列case字句，finally 语句用于执行不管是正常处理还是有异常发

2017-12-27 16:19:26 2038

原创【Scala 提取器】Scala 提取器(Extractor)

提取器是从传递给它的对象中提取出构造该对象的参数。Scala 标准库包含了一些预定义的提取器，我们会大致的了解一下它们。Scala 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作：unapply接受一个对象，然后从对象中提取值，提取的值通常是用来构造该对象的值。以下实例演示了邮件地址的提取器对象：package DataStructureAndAlg

2017-12-27 16:05:49 458

原创【python 图像处理】各种卷积滤波器的效果--cv2

在图像处理中，通常会用到一些经典的卷积滤波器，如低通滤波器、高斯滤波器、锐化滤波器、边缘检测、浮雕滤波器等。这些滤波器会产生不同的效果。下面用opencv实现这些出来看看效果：原图低通滤波器

2017-12-26 10:47:33 5083 1

原创【go API开发】goweb：基于 Go 语言开发 API 的工具

一个基于go语言开发API的工具，这个工具受到了SpringMVC的启发，结合了go语言本身的特性，整体比较简单，接下来，看看如何使用它。下载安装：go get github.com/alberliu/gowebpackage mainimport "github.com/alberliu/goweb"type User struct { Id int64 `json:"id"`

2017-12-25 19:58:10 1040

分类模型是数据挖掘中应用非常广泛的算法之一，常用的分类算法有Logistic模型、决策树、随机森林、神经网络、Boosting等。针对同一个数据集，可以有这么多的算法进行分析，那如何评估什么样的模型比较合理呢？本文就讲讲常用的模型验证武器，主要包括混淆矩阵、ROC曲线、提升度、增益法和KS统计量。一、混淆矩阵混淆矩阵就是如下图所示的那样，也是最简单的一种模型验证方法：通过混淆矩阵可以算出模型预测精度

2017-12-25 17:20:18 3303 2

原创【R语言字符串处理】stringr 包的强大之处

stringr包中主要内容：1、字符串拆分利器–str_split2、字符串替换利器–str_replace_all3、字符串抽取利器–str_match_all4、字符串截取利器–str_sub字符串处理中最为常见的四种手段有“拆、替、抽、取”。强烈推荐stringr包，个人觉得远比R自带的grep、regexp、strsplit、sub等函数好用。利器1：拆：str_splitstr_

2017-12-25 15:41:38 19310

原创【R语言数据合并】批量读取数据文件合并为一个excel表格

需求分析：在一个文件夹下里面有很多excel文件，它们字段都一样，这时候需要把他们合并为一个excel表格。类型1：R语言合并同一个文件夹下的多个csv文件 rm(list = ls())options(scipen = 200)#########自定义函数################readCSV <- function(dir_dta){ file_list <- list.f

2017-12-25 14:00:01 33957 3

原创【R语言数据分析】豆瓣电影R语言爬虫和数据分析

主要内容： 1、r语言爬虫 rvest包的使用。 2、r语言字符串处理stringr包的使用。 3、r语言聚合dplyr 包的使用。 4、r语言可视化ggplot 包的使用。 5、r语言画词云图worldcloud2 包的使用。 6、正则表达式 str_match 的使用 7、sapply的用法。 8、字符串切割函数str_split的用法。代码片段1（字符串切割和字符串正则匹配）

2017-12-25 10:50:59 10945 1

原创【python 数据库写入】python把数据框数据写入mongodb、mysql

主要内容：1、数据框数据写入mongdb方法2、数据框数据写入mysql方法为了以后不重复造轮子，这里总结下，如何把数据框数据写入mysql和mongodb的方法记录下来，省得翻来翻去。下面记录的都是精华。写入mongodb代码片段（使用pymongo库）：##########################写入mongodb 数据库##############################

2017-12-24 14:54:54 5076 1

原创【java 操作mysql】java连接mysql数据库并查询数据

做java开发不可避免要处理数据库，所以这里写篇用jdbc来连接mysql的文章，主要内容包括：1、java连接mysql2、java查询mysql数据。3、java插入mysql数据。4、java更新mysql数据。5、java删除mysql数据。6、java执行mysql存储过程。ide: IntelliJ IDEA2017 这里必不可少的需要导入mysql-connector

2017-12-24 11:03:55 24528 2

原创【scala 数据库操作】scala操作mysql数据库

主要内容：1、scala连接mysql（jdbc方式）2、scala查询mysql数据3、scala更新mysql数据4、scala插入mysql数据。5、scala 删除mysql数据。6、scala 调用存储过程。在我的本地mysql 数据库中，有一张persons表，内容如下：下面我们希望通过scala执行 mysql 查询数据和插入数据和更新数据，删除数据、调用存储过程等

2017-12-24 10:17:44 16538 1

原创【scala io】scala io操作 txt文件读取和写入

package DataStructureAndAlgorithm//导入scala io包import io.Source//导入java io包import java.io.PrintWriterimport java.io.File/** * Created by Administrator on 2017/12/23. */object Test5ReadFromTxt

2017-12-23 15:50:45 3570

原创【scala 小试牛刀1】scala vs python 解一元二次方程

一元二次方程ax^2+bx+c=0中, 一元二次方程求根公式：两根x1,x2= [-b±√(b^2-4ac)]/2a韦达定理：两根x1,x2有如下x1+x2=-b/ax1*x2=c/apython2.7版本：# encoding: utf-8from __future__ import divisionimport sysreload(sys)sys.setdefaultencoding

2017-12-23 14:38:35 943

原创【scala 匹配模式】match case|case class |::|:::|=>用法

主要内容：1、Scala的匹配模式（标准用法(match)／使用守卫／匹配类型）2、Scala的case class，多用在匹配模式中3、Scala中 :: 和 ::: 冒号的使用情况4、Scala中 => 映射作用一、Scala的匹配模式（标准用法(match)／使用守卫／匹配类型）package DataStructureAndAlgorithm/** * Created by A

2017-12-23 11:22:32 1090

原创【scala 特质】Scala的Trait特质使用

Trait 的使用场景当做接口带有具体实现的接口带有特质的对象特质从左到右被构造package DataStructureAndAlgorithm/** * Created by Administrator on 2017/12/23. */// 特质 1// 带有具体实现的接口trait Logger1{ def log(msg: String): Unit ={

2017-12-23 10:59:07 951

原创【Scala 抽象类】Scala的抽象类：abstract class

Scala的抽象类：abstract class类的一个或者多个方法没有完整的定义声明抽象方法不需要加abstract关键字，只需要不写方法体子类重写父类的抽象方法时不需要加override父类可以声明抽象字段（没有初始值的字段）子类重写父类的抽象字段时不需要加overridepackage DataStructureAndAlgorithm/** * Created by Admi

2017-12-23 10:50:18 1824

原创【scala 的类】Scala的类：变量／方法／构造方法／继承

package DataStructureAndAlgorithm/** * Created by Administrator on 2017/12/23. */// 1. 声明类和 getter／setter 方法class Person{ // name为变量，不设置初始值 _ 代表前面的name变量 // var 会生成 getter和setter 方法 var n

2017-12-23 10:41:15 1151

原创【scala 表达式】Scala的循环表达式和条件表达式

主要内容： 1、scala 条件表达式 2、scala循环表达式1、Scala的条件表达式package DataStructureAndAlgorithm/** * Created by Administrator on 2017/12/23. */object Test3ScalaConditional { def main(args: Array[String]) {//

2017-12-23 10:31:17 3011

原创【scala 函数定义和调用】Scala的函数调用:普通函数、匿名函数、柯里化函数

package DataStructureAndAlgorithm/** * Created by Administrator on 2017/12/23. */object Test1ScalaFunction { // function_1: 无返回值 def funApacheCN_1(name: String): Unit = { println("hello: " +

2017-12-23 10:09:11 2845

原创【scala 格式化操作】Scala的字符串格式化输出

主要内容： 1、字符串通过+号连接。 2、字符串通过 % 传值。 3、字符串通过$引用。package DataStructureAndAlgorithm/** * Created by Administrator on 2017/12/23. */case class BookPrint(name: String, author: String)object Test1ScalaP

2017-12-23 09:49:02 6240 6

原创【matlab 多元回归】matlab数值预测--多元回归算法

对七个自变量，2个因变量分别做多元线性线性回归。数据形式如下：下面是matlab 代码：clc,clear all%% % 读取excel数据，data存放数值数据，text存放文本数据[data1,text1] = xlsread('E://ID//data//data.xlsx');%%%建立第一个多元回归模型y1=data1(:,1);y2=data1(:,2);x=data

2017-12-23 09:31:51 40921 4

原创【matlab 数据处理】excel读取和写出，匹配

一、需求分析有两个excel,第一个excel有股票，日期，年限第二个excel有日期，各个年限利率（x2,X3,X4）根据日期和年限匹配国债利率把匹配结果写回第一个excel 当日对应期限国债利率数据形式：matalb源代码：clc,clear all%% % 读取excel数据，data存放数值数据，text存放文本数据[data1,text1] = xlsread

2017-12-21 16:39:17 15708

原创【scala 高级函数】快速了解scala高级函数用法

主要内容： 1、scala 的mkString 使用 2、Scala的List／Set／Tuple使用 3、Scala的Map和Option的使用 4、4、Scala的集合内常用的操作1、Scala的mkString使用如果你想要把集合元素转化为字符串,那麽请使用mkString 函数。同时可能还会添加分隔符，前缀，后缀。 package DataStructureAndAlgorithm/

2017-12-20 13:27:05 719

原创【scala 数据结构和算法】Scala实现：归并排序

一、归并排序算法思想归并排序（MERGE-SORT）是建立在归并操作上的一种有效的排序算法,该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为二路归并。归并过程为：比较a[i]和b[j]的大小，若a[i]≤b[j]，则将第一个有序表中的元素a[i]

2017-12-19 15:36:20 693

原创【matlab 异常点检测】基于欧氏距离和马氏距离的异常点检测

基于欧式距离的异常点检测：load data1.txt %导入数据，行为样本，列为特征X=data1; %赋值给Xu=mean(X); %求均值[m,n]=size(X);for i=1:mdist(i)=sqrt(sum(X(i,:)-u).^2);end[a,b]=sort(dist);%对欧氏距离进行排序T=ceil(m*0.02)%设置阀值Threshold=a(m-T);%定为阀值len=

2017-12-19 15:31:53 8179 4

原创【scala 数据结构和算法】Scala实现：快速排序

算法思想：快速排序由C. A. R. Hoare在1962年提出。它的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。scala递归使用快速排序：/** * Created by Administrator on 2017/12/

2017-12-18 19:49:20 473

原创【javascript 画进度条】js实现进度条的方法

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>进度条</title></head><style type="text/css"> .container{ width:450px; border:1px solid #6C9C2C;

2017-12-18 17:23:54 3551 1

原创【javascript 数据结构与算法】javascript实现冒泡排序

javascript 实现冒泡排序：function bubbleSort(arr) { var i = arr.length, j; var tempExchangVal; while (i > 0) { for (j = 0; j < i - 1; j++) { if (arr[j] > arr[j + 1]) {

2017-12-18 16:37:51 316

原创【scala 数据结构和算法】Scala实现：冒泡排序

算法原理：1、比较相邻的元素。如果第一个比第二个大，就交换他们两个。 2、对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。 3、针对所有的元素重复以上的步骤，除了最后一个。 4、持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较scala实现：/** * Created by Administrator on 2017/1

2017-12-18 16:27:22 1560

原创【scala 代码片段3】轻松入门scala--集合的操作交并补

主要内容： 1、集合的过滤filter 2、集合的集合flatten 3、集合的交并补diff、intersect、union、distinct 4、flatMap、Map用法 5、集合条件检查 6、集合分组 partition 7、foldLeft求和代码片段：/** * Created by Administrator on 2017/1/13. */object stu

2017-12-18 15:35:38 433

原创【scala 代码片段2】轻松入门scala--列表的操作以及集合元素映射

主要内容： 1、list.head 返回list集合中的第一个元素 2、 list.tail 返回除了list.head以外的所有元素（也是个list集合） 3、list添加元素(:: 操作符只适用于list集合) 4、集合元素映射yield 5、 filter和map函数代码片段：/** * Created by Administrator on 2016/5/18. */o

2017-12-18 14:59:15 354

原创【scala 代码片段1】轻松入门scala--列表的操作以及文件读取

主要内容： 1、列表的操作，每个元素如何计算，求和，求最大值，最小值，过滤，连接等。 2、scala如何读取txt文件。代码片段：/** * Created by Administrator on 2016/5/5. */object test1 { def main(args: Array[String]) { val data1=1 to 10// 让列表中的每个

2017-12-18 14:51:59 799

原创【数据挖掘特征选择】特征选择常用方法

下面列举一些最常用的方法 1、根据阈值过滤掉方差小的变量。 2、通过计算变量与标签的相关系数，留下相关性高的特征。 3、根据决策树或者随机森林，选择重要程度高的特征。 4、利用PCA等算法，对数据进行变换，选择区分度最高的特征组合。特征选择的方法，大部分在sklearn库中有对应的实现。

2017-12-15 11:21:10 2506

原创【数据挖掘 xgboost】特征的重要程度分析

代码片段import pandas as pdimport xgboost as xgbimport operator# # 从sklearn.cross_validation里选择导入train_test_split用于数据分割。# from sklearn.model_selection import train_test_split# # 从使用train_test_split，利用

2017-12-15 10:52:45 4686

gbdt和xgboost算法详解

空空如也