- 博客(49)
- 资源 (9)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 静态变量与动态变量
0.静态存储与动态存储1）静态存储变量通常是在变量定义时就分定存储单元并一直保持不变，直至整个程序结束。静态变量，全局动态变量都是静态存储2）动态存储变量是在程序执行过程中，使用它时才分配存储单元，使用完毕立即释放3）静态存储变量是一直存在的，而动态存储变量则时而存在时而消失。通常把由于变量存储方式不同...
2019-08-30 16:43:48
674
转载 xpath定位中详解id 、starts-with、contains、text()和last() 的用法
1、XPATH使用方法使用XPATH有如下几种方法定位元素（相比CSS选择器，方法稍微多一点）：a、通过绝对路径定位元素（不推荐！）WebElement ele = driver.findElement(By.xpath("html/body/div/form/input"));b、通过相对路径定位元素WebElement ele = driver.findElement(By.xpa...
2019-08-30 12:02:01
838
原创 alter table add column语句一直在执行导致mysql无响应
spider 明亮行输入reset 然后y清空变量区变量即可
2019-08-29 15:42:52
3770
1
转载 三种常见字符编码：ASCII、Unicode和UTF-8
什么是字符编码？计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大整...
2019-08-29 10:53:20
791
转载 git各种状态下撤销修改的方法
使用git时会出现各种各样的问题，下面是几种情况下怎么反悔的操作一，未加入缓存区，撤销文件修改 git checkout -- file二，已加入缓存区，撤销文件提交 git reset HEAD file三，已提交到本地，...
2019-08-29 10:18:28
493
转载 rm, git rm, git rm --cached 区别与关系
rm, git rm, git rm --cached 区别与关系1. rm 是仅仅删除working directory里的文件，但若需要删除staging area和HEAD上的文件，需要先执行git add, 然后执行git commit -m "delete xxx"； 或者直接执行一...
2019-08-29 08:51:43
210
转载 删除GitHub上项目中的某个文件
1、首先在本地中更新有该项目的最新包即确保本地项目和git上的项目内容保持同步（git pull拉取项目代码）要对git上的项目进行增删改的操作的时候，都应该确保本地的文件是git上最新的文件，这样才可以确保进行修改之后不会与git上的相互冲突而导致操作不成功。2、打开控制台窗口，进入该项目的目录中3、执行git rm -r --cached fileName删除指定文件名的文件...
2019-08-28 15:30:01
150
转载 使用BloomFilter优化scrapy-redis去重
使用BloomFilter优化scrapy-redis去重1. 背景做爬虫的都知道，scrapy是一个非常好用的爬虫框架，但是scrapy吃内存非常的厉害。其中有个很关键的点就在于去重。“去重”需要考虑三个问题：去重的速度和去重的数据量大小，以及持久化存储来保证爬虫能够续爬。 去重的速度：为了保证较高的去重速度，一般是将去重放到内存中来做的。例如python内置的set(...
2019-08-26 19:05:46
285
转载 Python---爬虫---存储---(布隆过滤器)BloomFilter(数据去重，断点续爬)
pip3 install pybloom_live from pybloom_live import BloomFilterimport hashlib Bloom_data = BloomFilter(1000000000,0.01)md5_...
2019-08-26 18:54:53
335
转载 信息摘要算法之一：MD5算法分析及实现
MD5即Message-DigestAlgorithm 5（信息-摘要算法5），用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一（又译摘要算法、哈希算法），主流编程语言普遍已有MD5实现。1、MD5算法简介MD5在90年代初由MIT的计算机科学实验室和RSA Data SecurityInc发明，...
2019-08-26 18:51:44
299
原创 爬虫程序小问题便解：
1、爬虫程序运行过程中如何屏蔽掉pycharm run界面打印输出爬取内容 1.在setting.py中ROBOTSTXT_OBEY = False的下面添加LOG_LEVEL=“WARNING” 2.运行scrapy之后只显示想要打印的结果...
2019-08-26 18:48:41
119
原创 scrapy框架不同的爬虫程序设置不同pipelines
前言：scrapy是个非常不错的处理高并发的爬虫框架，其底层是异步框架 twisted，优势明显。现在来看一个问题：当存在多个爬虫的时候如何指定对应的管道呢？main.py定义了两个爬虫：bidVtj、winbidVtjexecute(['scrapy','crawl','callbidVtj'])execute(['scrapy', 'crawl', 'winbidVt...
2019-08-26 11:19:29
1639
原创 使用Python将HTML文档转换为Markdown文档
下面先上代码import html2text as ht # pip install html2textimport requeststext_maker = ht.HTML2Text()text_maker.bypass_tables = Falsehtmlfile = requests.get(npurl)#npurl 为网址htmlfile.encoding = 'gb...
2019-08-21 15:35:26
2055
转载 Django2.x中url路由的path()与re_path()参数解释
在新版本Django2.x中，url的路由表示用path和re_path代替，模块的导入由django1.x版本的from django.conf.urls import url,include变成现在的Django2.x中的from django.urls import path, re_path, include看下面两幅图：Django1.10而且该url()函数传递了...
2019-08-21 14:55:11
986
原创 富文本编辑器HTMLField与 mdeditor
1、引入HTMLField之前，需要安装：pip install Django-mdeditorpip install Django-tinymce2、在models.py中导入模块：from django.db import modelsfrom mdeditor.fields import MDTextFieldfrom tinymce.models import HTM...
2019-08-21 14:46:56
665
转载 DJANGO ADMIN后台设置
Django自带的后台管理是Django明显特色之一，可以让我们快速便捷管理数据。后台管理可以在各个app的admin.py文件中进行控制。以下是我最近摸索总结出比较实用的配置。若你有什么比较好的配置，欢迎补...
2019-08-21 08:45:42
155
转载 漂亮的 Django Markdown 富文本 app 插件
django-mdeditorGithub地址:https://github.com/pylixm/django-mdeditor 欢迎试用，star收藏！Django-mdeditor 是基于 Editor.md 的一个 django Markdown 文本编辑插件应用。Django-mdeditor 的灵感参考自伟大的项目 django-ckeditor.功能支持 Editor...
2019-08-19 19:56:46
172
转载 Python3爬虫抓取网页中文输出乱码
对于Python3爬虫抓取网页中文出现输出乱码import urllib.requestresponse = urllib.request.urlopen('http://www.baidu.com')html = response.read()print(html)上面的代码正常但是运行的时候结果遇到中文会以\xe7\x99\xbe\xe5\xba\xa6\xe4...
2019-08-16 19:01:11
1025
2
转载 虚拟机VMware安装使用教程
虚拟机 虚拟机是通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在虚拟机中，你可以安装各种操作系统...
2019-08-16 18:56:58
364
转载 Linux的桌面环境gnome、kde、xfce、lxde 等等使用比较
文章目录图形界面架起用户迈向Linux的桥梁 如果不是加入了图形界面，微软的Windows系列操作系统不会成功地占领计算机桌面这块高地。这种人机交换的图形化界面，使得界面更加直观、简易、而且更人性化，同时也大大减少了使用者的认知负担，普通用户无需再牢记让人“劳神”的命令，直接拖拽就能操作。在这一点上，微软确实是将图形化操作界面这条路走得更彻底、更专一，尽管人们一直都在抱怨W...
2019-08-16 18:55:05
7269
转载 笔记本装双系统！win10+Linux！所有的坑自己一个个爬过来
写在前面，装了大概5遍，装了删删了装，笔记本快被我翻过来了，终于在昨天装好了。 首先你要明确的第一点，笔记本是不是有N卡，笔记本是不是有N卡，笔记本是不是有N卡，就是NVIDIA显卡！重要的话说三遍！这是导致我们装机失败的最主要原因！ 首先我们去官网下Linux，这里就推荐Ub...
2019-08-16 18:53:44
1852
转载 ashx和aspx的区别
ashx是什么文件?.ashx 文件用于写web handler的。.ashx文件与.aspx文件类似，可以通过它来调用HttpHandler类，它免去了普通.aspx页面的控件解析以及页面处理的过程。其实就是带HTML和C#的混合文件。.ashx文件适合产生供浏览器处理的、不需要回发处理的数据格式，例如用于生成动态图片、动态文本等内容。ashx文件是.net 2.0新加的文件类型...
2019-08-14 08:32:51
611
转载 Token机制
一、什么是token token的意思是“令牌”，是服务端生成的一串字符串，作为客户端进行请求的一个标识。当用户第一次登录后，服务器生成一个token并将此token返回给客户端，以后客户端只需带上这个token前来请求数据即可，无需再次带上用户名和密码。 简单token的组成；uid(用户唯一的身份标识)、time(当前时间的时间戳)、sign(签名，token的前几位以哈希算法压缩的...
2019-08-13 21:02:47
251
转载 爬虫的增量式抓取和数据更新
一些想法页面爬的多了，量上去了之后，就会遇到其他的问题，其实不管做什么技术量大了都会有问题。一般情况下，我认为解决"大量"问题的思路有两个：一种是着力于优化系统的能力，让原本只能一分钟处理100条的系统提升到一分钟1000条之类的，在我看来并行、分布式、集群都属于这个范畴，这种思路下，系统处理的内容没有变化只是单纯的处理速度变快了；另一种是着力于提...
2019-08-13 20:48:07
592
转载 Bloom Filter概念和原理
Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集...
2019-08-13 20:41:18
119
转载 MySQL字段类型
MySQL字段类型MySQL支持多种类型，大致可以分为三类：数值、日期/时间和字符串(字符)类型。 数值类型类型大小范围（有符号）范围（无符号）用途TINYINT1 字节(-128，127)(0，255)小整数值SMALLINT2 字节(-32 768，32 767)(0，65 535)大整数值MEDIUMINT3 字节(-8 38...
2019-08-13 14:35:32
133
转载 什么是回调函数？
什么是回调函数？我们绕点远路来回答这个问题。编程分为两类：系统编程（system programming）和应用编程（application programming）。所谓系统编程，简单来说，就是编写库；而应用编程就是利用写好的各种库来编写具某种功用的程序，也就是应用。系统程序员会给自己写的库留下一些接口，即API（application progr...
2019-08-13 14:33:42
115
原创 scrapy 爬虫框架中 ajax 异步加载 post请求方式的
scrapy 爬虫框架中 ajax 异步加载 post请求方式的处理方法：以福建省公共资源交易电子公共服务网站为例https://www.fjggfw.gov.cn/Website/JYXXNew.aspx，爬取招标结果，打开F12控制台界面如下图所示：Request Method:POSTpost请求方式中主要是Form Data中的信息，及每次请求Cookie信息，通过构造Co...
2019-08-12 17:56:17
1637
3
转载 C/C++中的值传递，引用传递，指针传递，指针引用传递
在面试过程中，被面试官问到传值和传引用的区别，之前没有关注过这个问题，今天在网上找了一篇包含代码和图片的讲解文章，浅显易懂，遂转载备忘。1. 值传递 1 void f( int p){ 2 printf("\n%x",&p); 3 printf("\n%x",p); 4 p=0xff; 5 } 6 void main() 7 { 8...
2019-08-12 17:54:39
102
转载 指针值传递、地址传递和引用传递
一、指针的值传递<span style="color:rgba(0, 0, 0, 0.75)"><span style="color:#000000"><code>//test.c#include <cstdio>#include <cstring>#include <cassert>void fun(char...
2019-08-12 17:52:58
598
转载 PowerDesigner安装教程（含下载+汉化+破解
软件版本：Sybase PowerDesigner 16.5 准备工作：需要下载以下3个文件，我直接把下面3个文件放到百度网盘中。如有失效，请评论区留言或Q上直接联系我！1、PowerDesigner.exe：安装文件2、pdflm16.dll：破解文件3、PowerDesigner汉化文件 下载地址：1、安装文件 链接: https://pan.baidu...
2019-08-09 17:19:10
8258
3
原创 X86汇编常见的寄存器
X86汇编常见的寄存器4个数据寄存器(EAX、EBX、ECX和EDX)2个变址和指针寄存器(ESI和EDI) 2个指针寄存器(ESP和EBP)6个段寄存器(ES、CS、SS、DS、FS和GS)1个指令指针寄存器(EIP) 1个标志寄存器(EFlags)AH&AL＝AX(accumulator)：累加寄存器 BH&BL＝BX(base)：基址寄存器 CH&C...
2019-08-03 11:52:39
9385
原创 pip 常用命令及控制台怎么查看python 及pip 和已安装包版本号
在使用python的时候，经常使用到pip这个工具，可以很方便的线上安装依赖库，当然pip还有很多参数都可以帮我们去查询一些库信息，在安装python的时候，下载带有pip的安装包就可以直接安装pip啦，当然没有带pip的，也可以通过下载安装包，手动安装。手动安装还是要会的，毕竟有时候下载超时、或者安装失败都可以用。命令：python 库的setup.py install1.查看pip...
2019-08-03 11:35:41
107291
原创 FP-Growth程序帮助文档
此程序按照《数据挖掘导论》部分P224-P230理解，下面几幅图为《数据挖掘：技术与导论》插图，与程序不太吻合⑴.刚开始看别人程序时遇见新的知识点可以先不求甚解，只有尝试过一遍或者过完程序有一些自己的理解时可以在进阶学习其奥妙之处，初始时应当以迅速走通程序，理解程序脉络与语句意思为最优。⑵.读别人的程序先把程序的架构弄清，比如程序内部函数的调用关系，那个是主函数，...
2019-08-03 11:28:11
405
原创 python3命令窗口创建虚拟环境以及虚拟环境迁移
很多小伙伴平时在使用Python的时候，有的项目需要使用Python2来进行开发，有的项目则是需要Python3来进行开发。当不清楚怎么分开环境的时候，此时两个环境开始打架，彼此傻傻分不清楚。虚拟环境作为隔离的利器应运而生，其实虚拟环境最大的好处就是将我们的开发环境进行隔离，让彼此相互不受影响。具体的教程如下：1、虚拟环境需要用到的库是virtualenv，需要使用安装命令pip instal...
2019-08-03 10:15:52
1033
转载 Python函数式编程指南（三）：迭代器
Python Generators(生成器)生成器是这样一个函数，它记住上一次返回时在函数体中的位置。对生成器函数的第二次（或第 n 次）调用...
2019-08-02 21:33:46
119
转载 什么是简单工厂模式
什么是简单工厂模式工厂模式有一种非常形象的描述，建立对象的类就如一个工厂，而需要被建立的对象就是一个个产品；在工厂中加工产品，使用产品的人，不用在乎产品是如何生产出来的。从软件开发的角度来说，这样就有效的降低了模块之间的耦合。简单工厂的作用是实例化对象，而不需要客户了解这个对象属于哪个具体的子类。简单工厂实例化的类具有相同的接口或者基类，在子类比较固定并不需要扩展时，可以使用简单工厂。如数据...
2019-08-02 21:31:51
149
转载 python迭代器与iter()函数实例教程
本文介绍了python迭代器与iter()函数的用法，Python 的迭代无缝地支持序列对象，而且它还允许程序员迭代非序列类型，包括用户定义的对象。 迭代器是在版本 2.2 被加入 Python 的，它为类序列对象提供了一个类序列的接口。序列是一组数据结构，你可以利用它们的索引从0 开始一直“迭代“ 到序列的最后一个条目。用“计数“的方法迭代序列是很简单的。Python 的迭代无...
2019-08-02 21:26:07
278
转载 python变量存储、浅拷贝与深拷贝
变量的存储 在高级语言中，变量是对内存及其地址的抽象。 对于python而言，python的一切变量都是对象，变量的存储，采用了引用语义的方式，存储的只是一个变量的值所在的内存地址，而不是这个变量的只本身。 引用语义：在python中，变量保存的是对象(值)的引用，我们称为引用语义。采...
2019-08-02 21:24:18
132
卡尔曼滤波与组合导航原理.rar
2020-11-22
Tecplot中文教程-共享版.pdf
2019-11-07
git官方文档.pdf
2019-09-24
python-fp-growth-master.zip
2019-08-02
蚁群算法求解TSP最短路径规划
2017-09-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人