python
我要糖
这个作者很懒,什么都没留下…
展开
-
python之爬虫requests与scrapy比较及scrapy常用命令
我们前面学习了requests和scrapy两种方式,作为两种技术路线,我们需要知道他们的相同点和不同点,以及我们应该按情况来使用相同点都可以进行页面请求和爬取可用性好,文档丰富,入门简单不用处理js,提交表单,应对验证等功能(需要扩展才能实现)不同点requestsscrapy页面级爬虫网站级爬虫功能库框架并发性考虑不足并发性好,性能较高...原创 2019-08-17 12:11:32 · 322 阅读 · 1 评论 -
python爬虫之bs4内容补充及爬取大学排名(四)
我们前面提到过bs4及其一些基本用法,但是并没有涉及到真正爬取一个网页我们具体应该如何编写其代码,以及我们如何实现一个真正的例子我们这篇就作为补充内容(涉及到与requests以及正则表达式的共同使用)主要内容为基于bs4来进行HTML内容的遍历与编码参考视频中国大学生慕课网-北京理工大学–python网络爬虫与信息提取视频HTML遍历方法HTML基本格式(HTML标签树如下所示)我...原创 2019-08-17 12:53:45 · 294 阅读 · 0 评论 -
python之爬虫 scrapy框架实例(八)
我们前面已经大概了解过如何新建一个scrapy框架项目,我们现在重新来整理一下思路,来练习一下我们的所学知识演示HTML地址为:http://python123.io/ws/demo.html文件名称为:demo.html打开如下所示:下面我们将来演示一下如何爬取该地址我们回顾一下其步骤:建立一个scrapy爬虫工程window+r – 输入cmd – 输入scrapy st...原创 2019-08-17 16:53:10 · 243 阅读 · 0 评论 -
python之爬虫 yield关键字
yield —> 生成器是什么?生成器是一个不断产生值得函数包含yield语句得函数是一个生成器生成器每产生一个值(yield语句),函数就会被冻结,被唤醒后再产生一个值e.g.def gen(n): for i in range(n): yield i**2输出结果为:0 1 4 9 16为啥要用生成器?生成器相比一次列出所有内容的优势更节省存储空间...原创 2019-08-17 16:53:46 · 369 阅读 · 2 评论 -
python之规范化使用(一)
在结束了难受的单片机之后,发现很多大佬都很熟练使用了python,并且与各种新奇的语言相结合,故菜菜打算复习一下python使用的是python3.7和sublime编辑器我记得学习的第一课就写了如何安装插件,但是我们却忽略了很多种可以安装的方法,下面列举一下,让大家有一个更好的认识常用pip命令使用方法pip命令示例说明pip download SomePacka...原创 2019-09-07 15:47:50 · 374 阅读 · 0 评论 -
python之运算符 表达式 (二)
既然是再次复习,那就得好好总结一些东西,以及对于一些抽象概念也要有一定的认识,所以我们就先学习最基础的对象以及一些基本用法及含义python内置对象对象是python基本概念之一,对象包含整数,实数,复数,字符串,列表,元组,字典,集合,还有zip, map, enumerate, filter等对象,函数与类也是对象python内置对象对象类型类型名称示例数字i...原创 2019-09-07 15:48:26 · 1029 阅读 · 0 评论 -
python之常用内置函数用法精要(三)
内置函数式python内置对象类型之一,不需要额外导入任意模块即可直接使用,都封装在内置模块__builtins__之中,用C语言实现,且进行了大量优化,具有非常快的运行速度可使用help(函数名)来查看某个函数的用法由于内置函数的数量众多且功能强大,故我们先简单介绍一部分,后面通过内容而慢慢接触类型转换与类型判断bin(), oct(), hex()可将整数分别转换为二进制,八进制...原创 2019-09-07 15:48:47 · 1129 阅读 · 0 评论 -
python之序列结构 列表(四)
我们前面已经复习过了基本对象,但是对于一些对象组合成的一些基本知识还没有复习过,学习是一个循序渐进的过程,我们就要慢慢理解其中的奥妙在此之前我们先来了解一下其分类列表包含若干元素的有序连续内存空间。当列表增加或删除元素时,列表对象自动进行内存的扩展或收缩,从而保证相邻元素之间没有缝隙使用整数作为下标来访问其中的元素列表对象常用方法方法说明append(x)将x...原创 2019-09-08 10:50:37 · 529 阅读 · 0 评论 -
python之序列结构 元组(五)
我们上一篇博客已经提到过列表,功能可以说是特别的多也很强大,但是负担也很重,很大程度上影响了我们的运行效率,故我们学习接触一下一个轻量级的列表-----元组形式上元组的所有元素都在一对圆括号内,元素之间使用逗号分隔,如果元组中只有一个元素,则必须在最后增加一个逗号元组创建与元素访问e.g.x = (1,2,3) #直接把元组赋给一个变量type(x) #查看类型x[0] #输出1,...原创 2019-09-08 10:51:00 · 391 阅读 · 0 评论 -
python之序列结构 字典(六)
字典是包含若干键值对额无序可变序列,每个元素包含了用冒号分隔开的键和值两部分,表示一种映射或对应关系,定义时不同元素用逗号分隔,所有元素放在一对大括号{}中要注意的是字典中键是python中任意不可变的数据,即整数,实数,复数等,但不能使用列表,集合,字典或其它可变类型作为字典的键,键也不可重复,值却可重复字典创建与删除使用赋值运算符‘=’将一个字典赋值给一个变量即可创建一个字典变量e....原创 2019-09-08 11:32:30 · 519 阅读 · 0 评论 -
python之序列结构 集合(七)
集合是python中无序可变序列,使用一对大括号作为定界符,元素之间用逗号分隔,同一个集合内的每一个元素都是唯一的,元素之间不允许重复凡无法计算哈希值(调用内置函数hash()时抛出异常)的对象都不能作为集合的元素集合对象的创建和删除直接赋值给变量即可创建一个集合对象a = {3,5} #创建集合对象type(a) #查看对象类型当然我们也可以把列表,元组,字符串,range对象...原创 2019-09-08 16:11:48 · 339 阅读 · 0 评论 -
python之代码复用技术(八)
软件开发过程中很多操作是完全相同或者是非常相似的,仅仅是要处理的数据不同而已,那我们当然会很容易想到我们的强大的复制粘贴功能,但是如果你这部分用的地方很多,而且刚巧不巧你还得去改,那多麻烦啊,最后功能大得你恨不得重新写个工程解决这个问题的有效方法是设计函数和类函数:将可能需要反复执行的代码封装为函数,定义起来比较简单就不详细的去说语法为def 函数名 ([参数列表]): ''' 注释 ...原创 2019-09-08 16:12:18 · 354 阅读 · 0 评论 -
python之文本处理 字符串(九)
在python中我们遇到的最多的就是字符串了,那么对于它的ixie来源,操作我们肯定是要非常熟悉的了,那我们就先来了解一下我们的转义字符以及字符串的格式化吧转义字符在字符串中某些特定的符号前加一个斜线之后,该字符被解释成另外一种含义,不再表示原来的字符一些常见的转义字符转义字符含义\b退格,将光标移动到前一列位置\f换页符\n换行符\r回车...原创 2019-09-09 20:54:21 · 437 阅读 · 0 评论 -
python之文本处理 字符串(十)
python对象提供了大量方法用于字符串的检测,替换和排版等操作,另外还有大量的内置函数和运算符也支持对字符串的操作。但要注意的是字符串对象所涉及的字符串修改方法都是返回修改后的新字符串,原字符串不做任何修改那我们下面就来介绍一些常用的函数find() rfind() index() rindex() count()函数说明find()查找一个字符串在另一个字符串...原创 2019-09-13 10:14:08 · 1968 阅读 · 0 评论 -
python之爬虫 Beautifulsoup4(四)
在第一篇我们已经了解到Beautifulsoup也是作为一种在HTML页面提取信息的工具(然而这个模块比正则表达式要简单的多)在接触Beautiful soup之前我们已经初步了解了如何将我们的Web页面保存在磁盘中,现在我们呢具体学习bs4的一些高端操作一、安装及创建bs4对象同样该模块用pip installl beautifulsoup4 即可以一段代码为例:我们先导入库#en...原创 2019-08-13 10:44:51 · 315 阅读 · 0 评论 -
python之pip模块的安装
昨天在安装新模块的时候可能是pip版本过低或是其它的原因导致我期望安装的别的模块的时候一直报错,就赶紧把我的教训经验都写下来安装bs4时,错误如下后来在一众大神以及百度的帮助下,查找错误“No module named pip"是由于pip安装包的问题,重新安装即可但是若是直接以用户身份运行就会有如下错误:故设置管理员身份(在菜单中查找所有应用并找到windows系统–命令提示...原创 2019-08-13 10:37:21 · 284 阅读 · 0 评论 -
python之爬虫 selenium模块(五)
我们前面的学习中都是输入固定的网址,而selenium模块会直接控制浏览器,实际点击链接并且填写登录信息,因此就像真的有用户在电脑前操作一样selenium模块是用于Web测试的自动化的一个工具,其功能非常强大,可直接运行在浏览器中,支持大部分主流浏览器,支持自动录制动作和自动生成一、安装及脚本编辑安装直接输入pip intall selenium即可(successfully)脚本编...原创 2019-08-13 12:50:54 · 324 阅读 · 0 评论 -
python之爬虫scrapy框架基本知识(六)
在学习了这些基本的一些知识点之后,我们就能爬取一个简单的页面了,但是如果希望我们在一堆的数据和页面中查找我们想要的就很麻烦了,故我们需要好好学习一下scrapy框架基本知识scrapy实际就是scrath 和python的合称,使用了Twisted异步网络库来处理网络通讯官网网址:scrapy安装scrapy的官网教程:安装安装安装可能需要用到的插件(以下直接用pip instal...原创 2019-08-13 17:44:23 · 186 阅读 · 0 评论 -
python之pygame运动及向量(四)
游戏中我们尽量使运动的物体与现实相近,得到强大的游戏代入感,故我们需要开始学习游戏的动画制作,只有活动起来的画面才能更加吸引人我们知道游戏的画面感是否强大取决于其是否流畅,感官不突兀,故我们需要一定的帧率来决定,即FPS首先介绍几个常用的量帧率一般设备24FPS电视画面30FPS流畅的游戏体验60FPSLCD中常用的刷新率70FPS及以上正常人...原创 2019-08-09 16:26:02 · 2146 阅读 · 2 评论 -
python之爬虫scrapy框架开始一个小项目(七)
在安装了一系列的插件之后,我们就要正式踏上虫虫的幸福征程了,那么我们就先从最简单的一个项目开始吧学过编程语言的都知道一个项目就是在一个文件夹里有不同类型的文件,其发挥的作用的也不同,就像是在HTML和CSS中,一个里面是内容,一个里面是结构,这样的话就算是很多的代码,我们也能很快找个每个部分的问题,对于需要大量的代码的程序就是很好的选择一、搭建工程二、该篇文章是参考了一位大神的博客原...原创 2019-08-14 17:50:19 · 563 阅读 · 0 评论 -
python之pygame3D画面(六)
人工智能对于小小菜来说真的有难度呢,那就先慢慢消化然后再总结一下趴,就先学pygame的其它方面啦!pygame主要适用于2D画图,但是3D也是可以满足的呢,因为3D为创造出其画面感以及真实感,就是采用的近大远小的效果正式进入3D世界之前,我们来体验一下3D给我们的感官享受一、3D向量在3D空间里,更好的表示运动当然就是3D向量啦直接在已经安装好的gameobjects里面调用ve...原创 2019-08-10 16:21:27 · 8439 阅读 · 0 评论 -
python之pygame声音(七)
声音是游戏中的必要元素,可以给用户很好的体验,让我们更好的代入到游戏中,在了解声音之前,我们需要知道它是怎么产生的以及存储处理的过程一、声音是什么声音的本质是振动响度:振动幅度越大,声音就越大音调:振动的快慢,决定每秒振动次数音色:振动的波形形状来决定同时也要注意在传播过程中声音也会变化,比如随距离增大而响度减少,而不同环境产生的效果也会不同,而速度也会有一定的影响(好啦,不扯远了...原创 2019-08-10 17:23:15 · 809 阅读 · 0 评论 -
python之pygame的基础认识(一)
在最初学习pygame的时候按照书上几十页的代码以及注释,循序渐进的做成了一个高仿的消灭外星人游戏,但做完之后效果很不理想,完全不知道仿照书上敲完之后有什么用,一些的基础知识也有很多很迷,后来看到了一篇博客,决定从头开始好好学习应该怎么做,如何做,而不是从前单纯的敲代码,彷佛都会了,实则浪费大量时间做着无用功原创 2019-08-07 16:49:08 · 665 阅读 · 0 评论 -
python之pygame字体 图片 画图模块(三)
在游戏中文字和图像一样重要,关系到我们的游戏体验,故我们需要知道字体和图像的产生以及我们如何产生我们期望的画面一、字体模块pygame.font.get_fonts()返回字符串列表,可获得我们当前系统的所有可用字体先介绍一个函数的用法my_font=pygame.font.Font("my_font.ttf",16)注意到使用了my_font.ttf这个语句,它可以把字体文件随游...原创 2019-08-08 20:07:33 · 1262 阅读 · 1 评论 -
python之pygame初探人工智能(五)
一个好的游戏除了最简单的画面等必要因素,我们需要考虑其趣味性,而趣味性则是由规则和智能共同控制的,规则的制定不是代码来决定的,故我们这篇来学习更高大上的一部分–人工智能一、什么是人工智能简言之,就是自我感知和反应的人造系统二、初探人工智能以超级玛丽为例:一直向前走,撞墙则换方向,其内部代码可能只是self.move_forward()if self.hit_wall(): sel...原创 2019-08-09 19:03:14 · 550 阅读 · 0 评论 -
python之爬虫入门(一)
编程小菜今天也要踏上学习爬虫的征程啦!对于啥都不懂的小菜看了很多大佬的博客,有点点小启发,就赶紧用小本本记下来啦网络爬虫(Web Spider):通过网页之间的链接来层层抓取,即从某网站的一个给定的网页开始,抓取里面的内容,再在该网页中的链接中找到其它网页,直到将该网站的所有内容抓取完在了解了爬虫是什么之后,我们呢就要来分析其最基础的工作原理网络爬虫有三大模块:抓取,分析,存储一、抓取...原创 2019-08-11 12:04:31 · 145 阅读 · 0 评论 -
python之爬虫requests库及基本框架的建立(二)
在了解了爬虫是什么之后,抓取网页是非常重要的一部分,那么利用好库函数让自己更快更好的获得信息也是非常重要的故我们该篇学习认识request的函数并构建抓取页面的基本框架一、Requests库函数requests库包含两个重要对象:request:用于请求访问response:包含爬虫的返还内容request对象函数类型函数描述requests.get(url,p...原创 2019-08-11 16:01:02 · 628 阅读 · 0 评论 -
python之爬虫 正则表达式(三)
我们已经学会了最简单的爬取工作,那就是进行内容的分析了,我们可知道分析的方法有正则表达式,Beautiful Soup,lxml我们就先学习正则表达式一、正则表达式(Regex)在编写处理字符串的程序或网页时,经常会有查找符合某些复杂规则的字符串的需要正则表达式就是用于描述这些规则的工具(即正则表达式就是记录文本规则的代码,即文本模式的一种描述方法)其实看到这我也不知道这到底是啥/(ㄒ...原创 2019-08-11 19:04:15 · 900 阅读 · 0 评论 -
python爬虫之Requests实例(二)
在学习了一大堆的基本概念啥的,可能很多人不明白怎么具体怎么写爬取代码,故我们写几个例子来巩固一下我们学的知识爬取京东某商品页面其链接为:https://item.jd.com/2967929.html现在开始爬取:import requestsurl = "https://item.jd.com/2967929.html"try: r = requests.get(url) ...原创 2019-08-16 17:01:14 · 334 阅读 · 0 评论 -
python之爬虫Re库(三)
我们在前面学习了正则表达式的基本语法,但是并没有学习如何使用这个库来爬取我们期望的信息,故这篇文章作为一个补充Re库是Python的标准库,用于字符串的匹配(只要安装了python的解析器,就不用额外安装)Re库的调用及基本语法import re正则表达式的表示类型raw string类型(原生字符串类型)re库采用了raw string类型表示正则表达式,表示为:r’text...原创 2019-08-16 18:44:35 · 251 阅读 · 0 评论 -
python学习之安装插件
大学最开始只接触了C++,趁大二暑假学习了一下python,惊叹于其功能的强大,对于编程小菜来说,每一点知识的小小积累都是一份财富 在不安装插件之前,python只能实现普通编程的一些功能,下面来介绍一些我安装并使用过的一些插件(我使用的是windows系统, python3.7, sublime编辑器)一、pygame法一:访问该网站https://bitbucket.o...原创 2019-08-05 15:48:26 · 908 阅读 · 1 评论