Python
勇气9601
这个作者很懒,什么都没留下…
展开
-
Python 主要数据预处理函数
1、interolateinterplot是Scipy的一个子库,包含了大量的插值函数,如拉格朗日插值、样条插值、高维插值等。使用前需要 用 from scipy.interpolate import * 导入相应的插值函数。 使用格式:f=scipy.interpolate.lagrange(x,y)智力仅仅展示了一维数据的拉格朗日插值命令,其中x y为对应的自变量和因变量数据,差值完成后,...原创 2018-05-27 16:59:21 · 1692 阅读 · 0 评论 -
Python爬虫之scrapy框架爬虫步骤
1.先创建一个文件夹用来运行整个爬虫项目 2.在PowerShell 中:cd 进入文件夹所在位置 3.通过scrapy 命令创建爬虫项目: scrapy startproject 项目名 然后可以在所创建的文件夹下看到所创建的爬虫项目文件夹 (1)进入所创建项目: cd .\qsquto(项目名)\ (2)创建...原创 2018-07-29 20:02:41 · 407 阅读 · 0 评论 -
Python scrapy框架爬虫之xPath表达式
/提取文本信息: text() 提取标签属性信息:@/html/head/title/text() //li 寻找所有li标签标签[@属性=值]//li[@class='hidden-xs']/a/@href原创 2018-07-29 20:03:43 · 256 阅读 · 0 评论 -
TensorFlow常量、变量和数据类型
TensorFlow 用张量这种数据结构来表示所有的数据。一个张量有一个静态类型和动态类型的维数,张量可以在图中的节点之间流通。 (1)TensorFlow中创建常量的方法:hello=tf.constant('hello,TensorFlow!',dtype=tf.string)a=tf.constant(1) 生成初始值为随机数: 生成0:(2)Te...原创 2018-11-09 20:46:13 · 754 阅读 · 0 评论 -
TensorFlow 矩阵计算
1、创建一个张量矩阵,TensorFlow 中使用常量创建函数,即 tf.constant 来创建一个矩阵: tf.constant([1,2,3],shape=[2,3])这行代码创建了一个2行3列的矩阵 2、创建随机生成矩阵张量: tf.random_normal(shape,mean=0.0,stddev=1.0,dtype=tf.float32,seed=No...原创 2018-11-09 20:46:50 · 897 阅读 · 0 评论 -
TensorFlow 安装教程
原创 2018-11-09 20:47:32 · 163 阅读 · 0 评论 -
OpenCV基本的图片读取
1、基本的图片存储格式在计算机中图片是以矩阵的形式存储在存储介质中的。 import numpy as np import cv2 img=np.mat(np.zeros((300,300)),dtype=np.uint8) img=cv2.cvtColor(img,cv2.COLOR_GRAY2BGR) print(img) cv2...原创 2018-11-09 20:49:00 · 256 阅读 · 0 评论 -
OpenCV的卷积核处理
1、计算机视觉的三种不同色彩空间OpenCV中可以操作和使用的色彩空间有上百种之多,,但是对于计算机视觉处理来说,一般常用的色彩空间有三种,即灰度、BGR以及HSV 灰度: 将图片中的彩色信息去除只保留黑白信息的色彩空间。一般而言灰度空间对人脸的处理特别有效 BGR:即蓝绿红空间。在这个空间中,每个像素都是由一个三维数组表示,分别代表蓝、绿、红这三种颜色。 HSV: ...原创 2018-11-09 20:49:50 · 2164 阅读 · 1 评论 -
Tensorflow 安装教程
原创 2019-01-14 13:41:00 · 480 阅读 · 0 评论 -
Tensorflow 矩阵运算
1、创建一个张量矩阵,TensorFlow 中使用常量创建函数,即 tf.constant 来创建一个矩阵: tf.constant([1,2,3],shape=[2,3])这行代码创建了一个2行3列的矩阵 2、创建随机生成矩阵张量: tf.random_normal(shape,mean=0.0,stddev=1.0,dtype=tf.float32,seed=No...原创 2019-01-14 13:41:43 · 929 阅读 · 0 评论 -
OpenCV 基本的图片读取与编辑
1、基本的图片存储格式在计算机中图片是以矩阵的形式存储在存储介质中的。 import numpy as np import cv2 img=np.mat(np.zeros((300,300)),dtype=np.uint8) img=cv2.cvtColor(img,cv2.COLOR_GRAY2BGR) print(img) cv2...原创 2019-01-14 13:46:53 · 352 阅读 · 0 评论 -
Python之scrapy框架爬虫
SCRAPY命令详解(可能是如今最全最简单的scrapy命令解释) 明天上班,又要爬网站,现在每天做的工作有50%的时间爬网站,40%的时间清理数据,10%写报告。若想自学数据分析,侧重点很重要,我当初把大部分经历放在了python的pandas numpymatplotlib上面,其他时间一部分放在sql身上,一部分放在了业务上,今天sh顺便总结了一下scrapy 所用的命令,...原创 2018-07-29 19:59:24 · 308 阅读 · 1 评论 -
糗事百科段子多线程爬虫
import threadingimport reimport urllib.requestimport urllib.errorheaders=("User-Agent","Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0")opener=urllib.request.build_opener()op...原创 2018-07-29 19:53:56 · 240 阅读 · 0 评论 -
Python数据变换
数据变换主要是对数据进行规范化处理,将数据转换成“适当的”形式,以适用于挖掘任务及算法的需要。 1、简单函数变换: 简单函数变换是对原始数据进行某些数学函数变换,常用的变换包括平方、开方、取对数、差分运算等。即: x'=x^2 ...原创 2018-05-27 17:00:13 · 2619 阅读 · 0 评论 -
Python几种常用的数据导入方法
1、通过标准的Python库导入CSV文件: Python提供了一个标准的类库CSV文件。这个类库中的reader()函数用来导入CSV文件。当CSV文件被读入后,可以利用这些数据生成一个NumPy数组,用来训练算法模型。: from csv importreaderimport numpy as npfilename=input("请输入文件名: ")withopen(filename,...原创 2018-05-27 17:03:04 · 35576 阅读 · 1 评论 -
贝叶斯算法实现Python
from numpy import *import operatorfrom os importlistdirimport numpy as np class Bayes: def __init__(self):#初始化 self.length=-1 #length 用于判断是否进行了训练 self.labelcount=dict() #存储标签 ...原创 2018-07-02 21:05:33 · 781 阅读 · 0 评论 -
网络爬虫之正则表达式Python
1、什么是正则表达式正则表达式是一种进行数据筛选的表达式 2、原子原子是正则表达式中最基本的组成单位,每个正则表达式中至少要包含一个原子。常见的原子类型有:a、普通字符作为原子b、非打印字符作为原子c、通用字符作为原子d、原子表 实战操作: 导入模块: import re import re>>>pat="yue">>...原创 2018-07-04 22:59:32 · 202 阅读 · 0 评论 -
网络爬虫之正则表达式Python
1、什么是正则表达式正则表达式是一种进行数据筛选的表达式 2、原子原子是正则表达式中最基本的组成单位,每个正则表达式中至少要包含一个原子。常见的原子类型有:a、普通字符作为原子b、非打印字符作为原子c、通用字符作为原子d、原子表 实战操作: 导入模块: import re import re>>>pat="yue">>...原创 2018-07-04 23:00:52 · 184 阅读 · 0 评论 -
Python爬虫的异常处理
异常处理中的两个类URLError 与HTTPError 两者都是异常处理的类,HTTPError是URLError的子类,HTTPError有异常状态码与异常原因,URLError没有异常状态码。所以,在处理的时候,不能使用URLError直接代替HTTPError。如果要代替,必须要判断是否有状态码属性。 URLError:1.连不上服务器2.远程的服务不存在3...原创 2018-07-29 19:49:57 · 617 阅读 · 1 评论 -
Python爬取CSDN首页的全部文章
import reimport urllib.request url="https://blog.csdn.net/" #伪装成浏览器User-Agent Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0headers=("User-Agent","Mozilla/5.0 (Windows...原创 2018-07-29 19:51:13 · 1550 阅读 · 0 评论 -
Python新闻爬虫
新闻爬虫需求及实现思路: 需求: 将新浪新闻首页(http://news.sina.com.cn/)所有新闻都爬到本地 思路:先爬首页,通过正则表达式获取所有新闻链接,然后依次爬各新闻,并存储到本地 编码出现错误的话: data=data.decode("utf-8","ignore") import re import urllib...原创 2018-07-29 19:51:50 · 626 阅读 · 0 评论 -
爬虫防屏蔽手段之代理服务器
所谓代理服务器,是一个处于我们与互联网中间的服务器,如果如果使用代理服务器,我们浏览信息的时候,先向代理服务器发出请求,然后代理服务器向互联网获取信息,再返回给我们。 使用代理服务器进行信息爬取,可以很好的解决IP限制的问题。import urllib.request import re #定义一个函数,实现代理服务器的功能 http://www.xicidai...原创 2018-07-29 19:52:16 · 1158 阅读 · 0 评论 -
微信爬虫实战
所谓微信爬虫,及自动获取微信的相关文章信息的一种爬虫。微信对我们的限制是很多的,所以,我们需要采取一些手段解决这些限制,主要包括伪装浏览器、使用代理IP等方式。 import reimport urllib.requestimport timeimport urllib.error #自定义函数,功能为使用代理服务器爬取一个网址 def use_proxy(IP...原创 2018-07-29 19:52:58 · 1685 阅读 · 0 评论 -
糗事百科段子爬虫
import reimport urllib.requestimport urllib.error headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0")opener=urllib.request.build_opener()opener.addheader=...原创 2018-07-29 19:53:28 · 138 阅读 · 0 评论 -
OpenCV的卷积核处理
1、计算机视觉的三种不同色彩空间OpenCV中可以操作和使用的色彩空间有上百种之多,,但是对于计算机视觉处理来说,一般常用的色彩空间有三种,即灰度、BGR以及HSV灰度: 将图片中的彩色信息去除只保留黑白信息的色彩空间。一般而言灰度空间对人脸的处理特别有效BGR:即蓝绿红空间。在这个空间中,每个像素都是由一个三维数组表示,分别代表蓝、绿、红这三种颜色。HSV: H是色调,S是饱和...原创 2019-01-14 13:49:08 · 409 阅读 · 0 评论