- 博客(15)
- 收藏
- 关注
RSS订阅转载 Redis-Scrapy分布式爬虫
Scrapy-Redis分布式策略：Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式 假设有四台电脑：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一台电脑都可以作为 Master端 或 Slaver端，比如： Master端(核心服务器) ：使用...
2018-07-31 10:04:11
207
转载 python网络爬虫之使用scrapy爬取图片
python网络爬虫之使用scrapy爬取图片在前面的章节中都介绍了scrapy如何爬取网页数据，今天介绍下如何爬取图片。下载图片需要用到ImagesPipeline这个类，首先介绍下工作流程：1 首先需要在一个爬虫中，获取到图片的url并存储起来。也是就是我们项目中test_spider.py中testSpider类的功能2 项目从爬虫返回，进入到项目通道也就是pipeli...
2018-07-30 14:22:42
467
转载 WINDOWS 10 ----mysql安装
mysql安装包可到官网下载，地址：https://dev.mysql.com/downloads/mysql1、首先解压文件包，我这解压到E:\install_work\mysql目录下： 2、发现mysql根目录下没有data目录和my.ini文件，不要紧，初始化mysql的时候系统会自动创建一个data目录，我们只需创建一个my.ini文件即可。新建记事本，将下面代码...
2018-07-29 22:20:11
100
转载 Python中*args和**kwargs的区别
（注：本文部分内容摘自互联网，由于作者水平有限，不足之处，还望留言指正。） 中秋的夜，微凉，但却始终看不见月亮。 我想，它一定是害羞了，悄悄的躲到了乌云的后面。 嗯，就是这样，我真是太TM机智了。 正文： 注：《python核心编程第2版》的11.6可变长度的参数---章节中有详细介绍。一、*args的使用方法...
2018-07-29 18:19:30
3481
1
转载 Redis 安装----windows 10
Redis 安装1.首先在Windows下下载安装Redis下载地址：https://github.com/MicrosoftArchive/redis/releases根据你电脑系统的实际情况选择32位还是64位，在这里我下载了的是Redis-x64-3.0.500.zip压缩包，压缩后得到解压文件.2.测试运行打开一个cmd 窗口（管理员身份运行），使用cd命令...
2018-07-29 15:31:38
116
转载 在xshell里面如果新建session或者使用命令行登陆系统:
在xshell里面如果新建session或者使用命令行登陆系统:ssh login_name@ip_addr例如: ssh root@192.168.****
2018-07-16 13:57:35
1509
转载 抓包工具Fiddler Web Debugger
Fiddler Web Debugger 利器使用 Fiddler 是一款功能非常强大的web 调试利器，简单的说你可以使用它截断浏览器发送给服务器的数据包，并在修改后发送出去，这在调试SQL注入或者其他网站逻辑攻击漏洞中非常有用，当然也有其他工具可以实现数据包的截断与重放攻击，比如 socketexpert+NC或者burpsuite都可以实现。但是相比较而言，Fiddler的使用最为方便。 ...
2018-07-14 17:51:01
5509
转载 Python中的random模块
Python中的random模块Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。random.randomrandom.random()用于生成一个0到1的随机符点数: 0 <= n < 1.0random.uniform random.uniform的函数原型为：random.uniform(a, b)，用于生成一个指定范围内的随机符...
2018-07-12 09:26:15
92
转载 opencv灰度处理
import cv2import numpy as np#方法一 实现灰度处理img0 =cv2.imread('haha.png',0)img1=cv2.imread('haha.png',1)print(img0.shape)print(img1.shape)cv2.imshow('0',img0)#灰度cv2.imshow('1',img1)#彩色cv2.waitKey(1...
2018-07-11 18:15:02
4202
1
转载 从RGB色转为灰度色算法（转）
从RGB色转为灰度色算法（转）一、基础 对于彩色转灰度，有一个很著名的心理学公式： Gray = R*0.299 + G*0.587 + B*0.114二、整数算法 而实际应用时，希望避免低速的浮点运算，所以需要整数算法。 注意到系数都是3位精度的没有，我们可以将它们缩放1000倍来实现整数运算算法： ...
2018-07-11 18:08:16
6809
1
转载 opencv使用笔记
Python下opencv使用笔记（三）（图像的几何变换）2015年07月08日 11:18:55阅读数：23434写在之前 二维与三维图像的几何变换在计算机图形学上有重要的应用，包括现在的许多图像界面的切换、二维与三维游戏画面控制等等都涉及到图像几何变换，就比如说在三维游戏中，控制角色三维移动的时候，画面是要跟着移动的，那么怎么移动，怎么让上一时刻的画面移动到这一时刻，这都是根据了你的移动量，然...
2018-07-11 14:37:03
109
转载 Numpy 中文用户指南 3.1 数据类型
Numpy 中文用户指南 3.1 数据类型科学计算 numpy python原文：Data types译者：飞龙另见数据类型对象数组类型和类型之间的转换NumPy支持的数值类型比Python更多。这一节会讲述所有可用的类型，以及如何改变数组的数据类型。数据类型描述bool_以字节存储的布尔值（True 或 False）int_默认的整数类型（和 C 的 long 一样，是 int64 或者 i...
2018-07-10 19:40:33
322
转载 ZEAL说明
前言：大家写代码的时候总会有些方法或者属性不太清楚，这时候我们就会打开浏览器，然后找官方api或者直接搜索引擎找对应问题，无疑花费了大量的时间。所以，你需要一个桌面应用Zeal，直接在上面搜关键字就能找到文档API。 之前在知乎Live了解到一些提高编程效率的工具。其中有Dash，一款只能在Mac上运行的工具。听说是因为作者受够了查文档浪费时间的烦恼，然后就开发了这个离线文档阅读器，顺带造福了我们...
2018-07-10 15:05:12
7577
9
转载 numpy中数组和矩阵的乘法
1. 当为array的时候，默认d*f就是对应元素的乘积，multiply也是对应元素的乘积，dot（d,f）会转化为矩阵的乘积， dot点乘意味着相加，而multiply只是对应元素相乘，不相加2. 当为mat的时候，默认d*f就是矩阵的乘积，multiply转化为对应元素的乘积，dot（d,f）为矩阵的乘积 3. 混合时候的情况，一般不要混合 混合的时候默认按照矩阵乘法的,...
2018-07-08 22:02:33
9285
转载 TensorFlow入门
TensorFlow入门：使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (context) 中执行图.使用 张量(tensor) 表示数据.通过 变量 (Variable) 维护状态.使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.一，基本语法：语法例子1：# 创建2个矩阵，前者1行2列，...
2018-07-07 20:22:03
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人