- 博客(17)
- 收藏
- 关注
RSS订阅原创 记pyqt5打包成exe程序时的一个错误
这个是pyqt5打包成exe程序时出现的一个错误错误表现为：当打开exe文件时，会报Failed to execute script main 的错误这个错误产生原因好像是exe程序打包时，pyqt5的路径问题解决方案为：在 主文件内加入if hasattr(sys, ‘frozen’):os.environ[‘PATH’] = sys._MEIPASS + “;” + os.e...
2019-09-12 17:41:25
700
1
原创 git的常见使用命令
Git常用命令使用大全查看、添加、提交、删除、找回，重置修改文件git help # 显示command的helpgit show # 显示某次提交的内容 git show $idgit co – # 抛弃工作区修改git co . # 抛弃工作区修改git add # 将工作文件修改提交到本地暂存区git add . # 将所有修改过的工作文件提交暂存区git rm # ...
2018-11-05 21:39:56
143
原创 MongoDB数据库的基本操作
今天一起来了解一下MongoDB数据库的基本操作，MongoDB是一种非关系型数据库，比较出名的关系型数据库应该是Mysql了，操作MongoDB数据库之前请确保已经安装了MongoDB数据库。安装教程可以看看下面的一篇文章：http://www.runoob.com/mongodb/mongodb-window-install.html首先我们开启Mongodb数据库，然后安装pymong...
2018-09-29 21:01:07
215
原创 scrapy-redis分布式爬虫-----布隆过滤器
今天爬取数据结果内存占用率太高，然后说是去重机制的问题，然后使用布隆过滤器解决了这个问题，顺便写一篇博客来记录布隆过滤器。什么是布隆过滤器如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash ta...
2018-09-28 20:16:28
821
原创 Gerapy框架的基本使用
Gerapy框架是一个比scrapyd界面更好看，功能更强大的一个分布式爬虫部署工具 Gerapy的安装：pip install gerapy Gerapy是一个基于Django框架的一个爬虫部署web端，在gerapy上，我们能更简便的把我们的项目部署到多台主机上去，现在就让我们来看看以看gerapy的强大。第一步，现在我们可以在桌面上建立一个空白文件夹，然...
2018-09-28 13:34:06
842
原创 scrapyd部署分布式爬虫
1.首先我们需要安装scrapyd这个模块，安装命令：pip install scaprd2.然后启动scrapyd，通过浏览器打开127.0.0.1:6800 这个网址，有以下界面即可：3.如果连接成功，那你可以关闭scrapyd了，在非C盘里面创建一个文件夹，名字叫做scrapydTest，然后进入该文件夹，shift+右键 打开命令行工具，输入scrapyd执行，执行完成后会新建...
2018-09-28 13:04:08
756
原创 python进阶 -----scrapyd-redis分布式爬虫
大家都知道，现在爬虫爬取的数据很多，仅凭单台主机已经无法满足人们的需要，所以，分布式爬虫提供了很好的解决方案。 第一步，我们需要安装redis服务，及redis的可视化管理工具。附上下载链接： https://github.com/MSOpenTech/redis/tags 安装教程：https://blog.csdn.net/u010137839/article/...
2018-09-27 21:41:47
309
原创 python爬虫基础--------urllib模块的安装和简单使用
好久不见，我的各位读者，好久没更新文章了，大家等急了吧，好了，今天我们学习一点厉害的，也是我当初一直念念不忘的----python爬虫。 讲到爬虫，大家就可以联想到各种网站数据，大家注意，爬虫一定要小心爬。好了，废话不多说了，我们开始学习。urllib模块的安装和使用1.模块的安装windows可以使用下列命令进行安装pip inst...
2018-07-31 20:18:08
55973
3
原创 python编程基础------------正则表达式
小伙伴们，大家好久不见，最近一直有事，博客也没更新。好了，相信大家都在为在一大堆数据中寻找几个字符头疼过。下面这个方法相信能解决很多人的困扰。好了，让我们一起来了解正则表达式的强大。1.正则表达式的含义正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式...
2018-07-19 19:45:47
211
原创 python编程基础------------------------错误类型总结
看完前面几篇文章，相信大家都对python有了一定的了解，相信大家也练习写了一些代码，那么大家写代码的时候总会出现各种各样的错误，那么现在就看看我遇到的一些错误和解决方法。1.语法错误：错误语句：count = 1while True: count+=1 if count ==20： return错误代码：SyntaxError:'return' outsi...
2018-07-10 20:40:44
601
1
原创 python基础编程------数据库操作
1.数据拼接方式 就我前几篇博客而言，数据拼接的方式有列表，字典，元组。但其实这三种方式都是将数据存储到内存中。实际上在开发过程中数据存储主要有三种方式： 第一种：将数据存储到内存当中 优点：使用方便，读写速度快 缺点：程序关闭的时候，内存会被释放，数据会消失 第二种：将数据写入到文件当中（txt文本）...
2018-07-07 10:36:43
359
原创 python编程基础----------面向对象的编程
一.python面向对象Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。如果你以前没有接触过面向对象的编程语言，那你可能需要先了解一些面向对象语言的一些基本特征，在头脑里头形成一个基本的面向对象的概念，这样有助于你更容易的学习Python的面向对象编程。接下来我们先来简单的了解下面向对象的一些...
2018-07-05 21:39:40
402
原创 python编程基础---------------------异常处理与函数基础
上一次我们学习了python OS操作和python基础文件操作，估计在此过程中，各位都遇到了很多错误，下面就让我们来学习怎么处理这些错误。1.异常处理 作为Python初学者，在刚学习Python编程时，经常会看到一些报错信息，在前面我们没有提及，这章节我们会专门介绍。Python有两种错误很容易辨认：语法错误和异常。Python 的语法错误或者称之为解析错，是初学...
2018-07-04 21:09:51
455
原创 python编程基础----------------python OS和文件操作
1.OS模块简介 os 模块提供了非常丰富的方法用来处理文件和目录。常用的方法如下表所示：序号方法及描述1os.access(path, mode)检验权限模式2os.chdir(path)改变当前工作目录3os.chflags(path, flags)设置路径的标记为数字标记。4os.chmod(path, mode)更改权限5os.chown(path, uid, gid)更...
2018-07-03 19:02:55
143
原创 python编程基础----------------数据类型
上面几篇文章，我们了解到一下python的基础知识和基础语法，下面让我们来学习新的数据类型----元组和字典1.元组 在上一篇文章我们学习了列表，那么元组跟列表是不是一样的？答案当然是不一样的，那么先让我们来看元组的定义方法：>>> tup1 = ('Google', 'Runoob', 1997, 2000);>>> tup2 = (1, 2,...
2018-06-30 09:13:02
383
原创 python编程入门篇------各种各样的字符操作和列表详解
1.循环 继上一篇文章，我们把另外一种循环体（while循环）学习一下，下面我们来看一个小例子： index =1while index < 10 : index += 1 if index == 4 : # break 后面的循环不执行 # continue 当次循环不执行，后面的循环继续执行 pass ...
2018-06-28 20:17:27
424
原创 Python编程入门篇------if条件判断语句和for循环
1.if条件判断语句 Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图来简单了解条件语句的执行过程:下面是一个计算个人所得税的脚本，想知道自己的工资用交多少税吗？那让我们一起来看看下面的代码：salary = input('请输入你的工资')# 将输入的内容转化成数字salary = int(salary)sanXian = ...
2018-06-27 22:53:49
779
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人