- 博客(42)
- 收藏
- 关注
RSS订阅转载 线性回归的推广
1.多项式回归线性回归可以对样本数据是非线性而只对参数是线性的。由线性表达式：\[h_\theta(x_1, x_2, \cdots, x_n) = \theta_0 + \theta_1x_1 + \theta_2x_2 + \cdots + \theta_nx_n\]如果只对参数\(\theta\)线性，而对\(x\)非线性。如果\(x\)特征是非线性的，比如说而\(x\)...
2019-09-03 13:50:00
395
转载 交叉验证要点
1.交叉验证的作用交叉验证是建立模型和验证模型参数的一种方法，可用于评估模型的预测性能。操作方法就是把样本数据分成训练集和测试集，训练集用于训练模型，测试集用来评估模型。当样本数据不多时（还不到少得可怜的地步），可以采用交叉验证来训练模型，从而选择最优的模型。2.简单交叉验证简单交叉验证就是把样本数据随机按比例分成训练集和测试集，然后训练模型和验证模型及参数。在样本数据上进行多次...
2019-08-30 11:25:00
266
转载 CentOS安装Eigen
1.下载切换到root用户。$su root # 切换root用户，要输入密码#cd # 切换到root的家目录#wget http://bitbucket.org/eigen/eigen/get/3.3.7.tar.gz # 下载Eigen2.解压安装#tar -zxvf 3.3.7.tar.gz # 解压然后会有一个类似于eigen-eigen-xxxxxxxx...
2019-08-30 09:50:00
1960
转载 LASSO回归和Ridge回归
在线性回归中讲述了原理，为了防止过拟合经常会加入正则化项。常用的正则化有L1正则化和L2正则化。1.LASSO回归加入L1正则化项的线性回归就叫LASSO回归。L1正则化项即是参数的L1范数，通俗点说，就是参数向量各个分量取绝对值的加和，即，对于\(\theta=(\theta_0, \theta_1, \cdots, \theta_n)^T\)参数向量，L1正则化项为：\[\l...
2019-08-21 18:09:00
315
转载 最小二乘法
1.目标函数已知数据样本：\[X = \left( \begin{matrix}x_1^{(1)} &x_2^{(1)} &\cdots &x_n^{(1)}\\x_1^{(2)} &x_2^{(2)} &\cdots &x_n^{(2)}\\\vdots &\vdots &\ddots &\vdots\...
2019-08-16 15:45:00
247
转载 线性回归原理
1.问题提出已知数据样本：\[X = \left( \begin{matrix}x_1^{(1)} &x_2^{(1)} &\cdots &x_n^{(1)}\\x_1^{(2)} &x_2^{(2)} &\cdots &x_n^{(2)}\\\vdots &\vdots &\ddots &\vdots\...
2019-08-14 09:46:00
100
转载 Origin C创建视频
Origin C提供了VideoWriter类用于创建小视频。通过这个类，可以指定创建视频的编码格式，帧速，视频的宽度和高度等。然后可以把Origin中的画图窗口作为每一帧的图画来建立一个视频。代码步骤：1.引入头文件#include <..\OriginLab\VideoWriter.h>2.指定编码格式int codec = CV_FOURCC('D', 'I'...
2019-08-09 13:56:00
101
转载 安装OpenCV
1.准备工作升级gcc到4.8版本：#curl -Lks http://www.hop5.in/yum/el6/hop5.repo > /etc/yum.repos.d/hop5.repo#yum install gcc gcc-g++ -y#gcc --version#g++ --version升级binutils至2.25：#wget http://ftp.gnu...
2019-08-05 14:22:00
87
转载 安装Java
1.下载Java包下载的是1.7版本的Java。https://www.oracle.com/technetwork/java/javase/archive-139210.html。2.安装#tar -zxf jdk-xxxx.tar.gz#mkdir /usr/local/java#mv jdk1.7.0_80 /usr/local/java#vi /etc/profile...
2019-08-05 14:03:00
67
转载 配置Python 2.7
1.安装开发工具包#yum groupinstall -y "Development tools"其它必需包：#yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel tcl tcl-devel tk tk-devel2.安装Python-2.7.16#wget https:/...
2019-08-05 13:53:00
184
转载 CentOS 6.10虚拟机环境配置
1.安装CentOS 6.10首先安装VirtualBox，默认安装过程即可。然后在VirtualBox中新建一个虚拟机来安装CentOS 6.10。下载的是CentOS-6.10-x86_64-minimal.iso。2.匹配网络因为是minimal，没有图形界面，安装完之后，登陆界面是文字界面。只有root一个帐号，所以先用root登陆。测试网络：#ping www.ba...
2019-08-05 09:32:00
213
转载 Scrapy的命令行工具
1.Scrapy项目的默认结构scrapy.cfgmyproject/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py spider1.py spider2.py ...
2019-08-02 09:07:00
77
转载 Scrapy中的Pipeline
当Spider收集Item后会把它传递到Item管道，按照一定的顺序执行处理。每个Item管道组件是实现了简单方法的Python类，接收到Item后执行一些行为，可以决定此Item是否继续通过管道，或被丢弃。Item管道的典型应用有：1.清理HTML数据。2.验证爬取的数据，检查Item是否有某些字段。3.检查是否重复，可以丢弃。4.将爬取的结果保存到数据库等。1.编写Ite...
2019-08-01 10:20:00
120
转载 Scrapy中的Selector
当抓取网页时，最常见的任务是从HTML源码中提取数据，用Beautiful Soup或lxml都可以。Beautiful Soup是基于HTML代码的结构来构造一个Python对象，对不良标记的处理也很合理，缺点就是慢。而lxml是基于ElementTree（不是Python标准库的一部分）的Python化的XML解析库，也可以解析HTML。Scrapy提取数据的机制被称为选择器（Se...
2019-07-31 10:45:00
217
转载 Scrapy中的Spider
Spider类定义如何爬取指定的一个或多个网站，包括是否要跟进网页里的链接和如何提取网页内容中的数据。爬取的过程是类似以下步骤的循环：1.通过指定的初始URL初始化Request，并指定回调函数。当Request下载完后，生成Response作为参数传给回调函数。初始的Request是通过start_requests()读取start_urls中的URL来生成的，回调函数为parse...
2019-07-24 17:20:00
146
转载 Scrapy中的Item
爬虫的主要目标是从页面爬取非结构性的数据然后提取出结构性数据。Scrapy提供Item类可以实现这样的要求。Item对象是简单的容器，用于保存爬取到的数据。1.Item类class scrapy.item.Item([arg])：返回一个新条目对象，可以传入参数进行初始化。唯一属性：fields：包含所有声明字段（declared field）和填充字段（populated f...
2019-07-23 13:51:00
363
转载 Scrapy项目创建的简单流程
1.进入到一个要创建Scrapy项目的文件夹，然后运行以下命令来生成默认的Scrapy项目结构。在Linux CentOS-6.10中，运行#scrapy startproject tutorial然后生成的目录结构如下：tutorial/ scrapy.cfg tutorial/ __init__.py items.py ...
2019-07-22 13:26:00
200
转载 Scrapy项目的默认结构
默认的情况下，Scrapy项目的默认结构如下：scrapy.cfgmyproject/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py spider1.py spider2....
2019-07-22 08:43:00
195
转载 Origin C中使用OpenCV
Origin对OpenCV进行了包装，因此在Origin C中可以调用OpenCV的相关函数。下面就用OpenCV官网的一个例子来演示怎么在Origin C里调用OpenCV。1.包含头文件#include <../OriginLab/opencv.h>这个头文件其实就是又包含了其它的一些头文件，包括OpenCV的类型相关的、核心的、图像处理的、Origin自己实现的，...
2019-07-19 13:34:00
238
转载 Scrapy初试牛刀
1.安装pip install configparser # 依赖pip install Scrapy2.官网的一个简单例子https://docs.scrapy.org/en/latest/intro/overview.html#!/usr/bin/env python# coding=utf-8import scrapyclass QuotesSpider(s...
2019-07-19 09:51:00
94
转载 Scrapy的体系结构一览
引用官网（https://docs.scrapy.org/en/latest/topics/architecture.html）的一张图：Scrapy的数据流是由执行引擎控制的，具体流程如上图的红圈数字所示：1.引擎（Engine）从爬虫程序（Spider）获取要抓取的初始请求（Request）。2.Engine在调度器（Scheduler）里调度请求，并索要下一个要抓取的Req...
2019-07-18 09:43:00
250
转载 lxml的使用简要
1.安装pip install lxml在Linux CentOS-6.10下可以这样安装：yum install python-lxml2.简单导入import xml.etree.ElementTree as etree # Python 2.7.163._ElementInterface类http://effbot.org/zone/pythondoc-elemen...
2019-07-17 13:16:00
191
转载 XPath语法简要
XPath是在XML文档中查找信息的语言，可对元素和属性进行遍历。利用以下的XML内容。<bookshop> <book> <name>Introduction to Algorithms</name> <author>Thomas H. Cormen, etc.</author...
2019-07-16 09:57:00
93
转载 Beautiful Soup的使用
1.安装Beautiful Soup4pip install beautifulsoup42.Linux CentOS-6.10安装lxmlBeautiful Soup支持一些第三方的解析器，如果不安装第三方的，则默认会用Python标准库中的HTML解析器。lxml解析器更加强大，速度更快，因此安装。#yum install python-lxml3.解析器对比解析器...
2019-07-15 17:28:00
142
转载 requests的使用
1.安装requestspip install requests2.基本请求https://2.python-requests.org/en/master/requests.request(method, url, **kwargs)：构建发送请求。method可以为：HEAD，GET，POST，PUT，PATCH，DELETE，OPTIONS。requests.head(u...
2019-07-12 15:51:00
226
转载 正则表达式模块（re）
1.语法规则在Python里，定义正则表达式的字符串，在字符串前加r，表示原始字符串，可以免去很多烦人的转义，如r'\'与'\\'是表示同一个字符串。语法说明实例完整匹配的字符串一般字符匹配字符自身abcabc.匹配除换行外的字符，如果指定re.DOTALL模式，则包括换行也会匹配a.cabc，adc，aac等\转义字符，即把特殊字符还...
2019-07-11 15:25:00
270
转载 urllib,urllib2的使用
1.简单爬取一个页面import urllibf = urllib.urlopen('http://www.qq.com') # HTTP协议，也可以是FTP，FILE，HTTPS等print f.read() # 读取整个页面2.通过构造Request请求对象import urllib2req = urllib2.Request('http://www.qq.com')...
2019-07-10 13:45:00
76
转载 urllib2模块
#!/usr/bin/env python# coding=utf-8import urllib2'''urllib2可以简单认为是urllib的增强版，但由于urllib中提供了urllib2中没有的函数，因为又不能完全替代urllib。两者不能相互替代 ，只能是配合着使用。urllib和urllib2的区别：urllib2通过Request参数来修改Header，也就...
2019-07-10 09:00:00
77
转载 urllib模块
#!/usr/bin/env python# coding=utf-8import urllib'''urllib模块：https://docs.python.org/2/library/urllib.htmlurllib.urlopen(url[, data[, proxies[, context]]])：通过URL打开网络对象。如果没有指定模式标识符，或模式标识符为f...
2019-07-09 10:43:00
73
转载 Origin C访问Excel
Origin C访问Excel的流程跟访问Word差不多，可以参考Origin C访问Word。这里简单的演示怎样把Excel中的数据导入到Origin的工作表，用到的Excel文件位于Origin的安装目录下Samples\COM Server and Client\MS Office\Excel\FFTFiltering.xls，数据区域为A20:B259。具体代码如下：voi...
2019-07-03 09:46:00
277
转载 Origin C访问Word
Origin C要往Word里写内容，一个简单的方法是通过Word里的书签来定位，然后直接获取这个书签位置来写入内容。用到的Word文档是Origin自带的一个模板，位于Origin的安装目录下Samples\Batch Processing\Sensor Analysis Report.dotx。这个模板包含有以下的书签：FileName, FileDate, FittedGrap...
2019-07-02 15:26:00
132
转载 Origin C访问PowerPoint
Origin C访问PowerPoint主要分6个步骤：1.创建一个PowerPoint应用对象，或者获取当前打开的PowerPoint应用。Origin C中通过CreateObject函数来创建。Object ppt;// 新建一个PowerPoint应用try { ppt = CreateObject("powerpoint.application");} ca...
2019-07-01 11:50:00
221
转载 Origin C访问数据库（MySQL）
Origin可以用界面的方式来导入数据库的数据到工作表，对应的界面对话框为SQL Editor和Query Builder。SQL Editor是Origin推荐使用的，Query Builder是比较老的一个工具。Origin也可以通过Origin C编程的方式来导入数据库的数据，也可以把工作表的数据导出到数据库。这里演示用Origin C来导入导出MySQL的数据。以下安装都选择...
2019-06-28 17:16:00
403
转载 生产者与消费者模型
#!/usr/bin/env python# coding=utf-8import threadingimport timeimport Queuedef producer(name, q): while True: item = u'产品 {}'.format(q.count) q.put(item) print ...
2019-06-28 11:26:00
62
转载 多线程模块（threading）
#!/usr/bin/env python# coding=utf-8import threadingimport time'''Python中的多线程并不是真正的多线程，是利用GIL（Global Interpreter Lock，全局解释器锁）来实现的多线程，本质上仍然是单线程。GIL的工具流程是：设置GIL->开始一个线程->执行一定量的任务，然后程序...
2019-06-28 10:45:00
165
转载 队列模块（Queue）
#!/usr/bin/env python# coding=utf-8import Queueimport time'''https://docs.python.org/2/library/queue.htmlQueue模块在Python 3中改名为queue了。Queue模块实现了多个生产者消费者列队，可以在多线程中进行安全的信息交换。Queue模块定义了三个类：...
2019-06-27 16:36:00
111
转载 多进程模块（multiprocessing）
#!/usr/bin/env python# coding=utf-8import multiprocessingimport timeimport os'''Python中的多线程并不是真正的多线程，是利用GIL（Global Interpreter Lock）来实现的多线程，本质上仍然是单线程。如果想利用多个CPU的资源，Python中大部分情况需要使用多进程，mu...
2019-06-27 13:53:00
104
转载 Origin C调用DLL
1.建立头文件声明要调用DLL的函数2.在头文件中加入载入DLL的代码载入DLL使用到pragma这个指令。例如DLL的名称为MyDLL.dll，则可以根据它所在位置有几种方法载入：#pragma dll(MyDLL) // dll位于Origin的安装目录下#pragma dll(C:\xxx\xxx\MyDLL) // 具体dll的位置#pragma dll(MyDLL...
2019-06-26 15:16:00
230
转载 时间模块（time）
#!/usr/bin/env python# coding=utf-8# 导入时间模块，Python自带，不用额外安装import time'''https://docs.python.org/2/library/time.html用到的时间元组class time.struct_time属性包括：tm_year：4位数的年份tm_mon：第几月（1-12）t...
2019-06-26 09:59:00
94
转载 Windows下编译64位GSL
GSL （GNU Scientific Library, http://www.gnu.org/software/gsl/）官方并没有提供编译好的Windows版本。首先要保证Windows是64位的。1.下载msys2从官网（http://www.msys2.org/）下载msys2-x86_64-20190524.exe，当前的最新版本，64位的版本，这里是为了编译64位的，就不...
2019-06-25 16:35:00
1186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人