![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
Python学习路线,学习笔记
NiceBlueChai
这个作者很懒,什么都没留下…
展开
-
Python学习阅读路线
根据图灵社区的书目和自己学习过程中看过的书整理而得python学习阅读路线.png原创 2018-09-15 20:08:08 · 181 阅读 · 0 评论 -
进一步提高scrapy爬虫爬取速度
可通过配置并发连接选项对spider速度进行优化settings.py选项说明CONCURRENT_REQUESTSDownloader最大并发请求下载数量,默认32CONCURRENT_ITEMSItem Pipeline最大并发ITEM处理数量,默认100CONCURRENT_REQUESTS_PER_DOMAIN每个目标域名最大的并发请...原创 2017-11-30 22:17:06 · 474 阅读 · 0 评论 -
爬虫原理及爬虫常用的几种技巧
爬虫的原理是,从一个其实种子链接开始,发送http请求这个链接,得到该链接中的内容,然后大多正则匹配里面的有效链接,然后将这些链接保存到带访问队列中,等待爬取线程取这个待访问队列,一旦链接已访问,为了有效减少不必要的网络请求,我们把已访问的链接放到已访问的Map中,防止重复抓取和死循环。以上提到的过程是一个简单的爬虫实现,还有更复杂的爬虫实现,如需要使用代理服务器‘伪装成浏览器、...原创 2017-11-05 23:32:31 · 276 阅读 · 0 评论 -
Scrapy的基本使用(三)——Scrapy爬虫的数据类型
Scrapy爬虫的使用步骤步骤1:创建一个工程和Spider模板步骤2:编写Spider步骤3:编写Item Pipeline步骤4:优化配置策略Scrapy的数据类型Request类Response类Item类Request类class scrapy.http.Request()Request对象表示一个HTTP请求由Spider生成,由Do...原创 2017-11-27 22:13:47 · 267 阅读 · 0 评论 -
Scrapy爬虫框架结构
Scrapy不是一个函数功能库。而是一个爬虫框架什么是爬虫框架?爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是一个半成品,能帮助用户实现专业网络爬虫。 ...原创 2017-11-26 14:16:54 · 184 阅读 · 0 评论 -
股票数据定向爬虫
爬虫功能获取上交所和深交所所有股票的名称和交易信息保存到文件中技术路线requests-bs4-re候选数据网站新浪股票:http://finance.sina.com.cn/stock/百度股票:https://gupiao.baidu.com/stock选取原则股票信息保存在HTML页面中,不是js动态生成的,没有robots协议的限制数据网站...原创 2017-11-22 15:59:47 · 218 阅读 · 0 评论 -
中国大学排名爬虫
#CrawUnivRankingB.pyimport requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.e...原创 2017-11-16 14:01:37 · 94 阅读 · 0 评论 -
python——对文件内容迭代
所谓迭代,是指不断重复某个动作,直到这些动作都完成按字节处理在while循环中,read方法是最常见的对文件迭代的方法#! /usr/bin/evn python#-*- coding:utf-8 -*-path='./test.txt'f_name=open(path,'w')print('write lenght:',f_name.write('Hello'...原创 2017-11-02 22:40:50 · 693 阅读 · 0 评论 -
Python——随机函数
函数描述choice(seq)从序列的元素中随机抽取一个元素,如random.choice(range(10)),从0-9中随机抽取一个整数randrange([start,],stoop[,step])从指定范围按指定基数递增的集合获取一个随机数,基数缺省值为1random()随机生成下一个实数,在[0,1)范围内seed([x])改变...原创 2017-11-06 00:02:02 · 80 阅读 · 0 评论 -
Python爬虫之Email提醒
在实际爬虫运行过程中,我们不可能时刻都盯着计算机,当爬虫运行过程中遇到异常或者服务器出了问题,我们就需要通过Email即使向自己报告。发送邮件的协议时SMTP, Python内置对SMTP的支持,可以发送纯文本邮件、HTML邮件以及带附件的邮件。Python对SMTP支持有smtplib和email两个模块,email负责构造邮件,smtplib负责发送邮件。在发送Email之...原创 2018-09-23 14:18:53 · 316 阅读 · 0 评论 -
Python字符串格式化及转义字符
字符串格式化符号符号描述%c格式化字符及其ASCII码%s格式化字符串%d格式化整数%u格式化无符号整形%o格式化无符号八进制%x格式化无符号十六进制%X格式化无符号十六进制(大写)%f格式化浮点数字,可指定精确度%e用科学记数法格式化浮点数、%E作用tong%e,用科学记数法格式化...原创 2017-10-23 10:47:52 · 307 阅读 · 0 评论 -
Python学习常用网站
官网:http://www.python.org/第三方库:https://pypi.python.org/廖雪峰:http://www.liaoxuefeng.com/菜鸟教学:http://www.runoob.com/python3/python3-tutorial.htmlUnofficial Windows Binaries for Python Extensio...原创 2017-11-30 22:08:40 · 103 阅读 · 0 评论 -
Python中的“声明”
代码移植时,如果从Windows上移植到Linux系统上,就必须加上第一行代码,有中文时,不加第二行,很容易出现乱码问题#! /usr/bin/python#-*- coding:utf-8 -*-能不能像执行.exe文件一样执行.py文件呢?在Windows上是不行的,不过在Linux和mac上可以。方法是在.py文件的第一行加上这样一行代码:#!/usr/bi...原创 2017-11-07 02:07:11 · 417 阅读 · 0 评论 -
Python——三角函数
函数描述acos(x)返回x的反余弦弧度值asin(x)返回x的反正先弧度值atan(x)返回x的反正切弧度值atan2(y,x)返回给定的x及y坐标值的反正切值cos(x)返回x弧度的余弦值hypot(x,y)返回欧几里得范数sqrt(x*x+y*y)sin(x)返回x弧度的正弦值tan(x)返回x弧度的...原创 2017-11-06 23:06:30 · 755 阅读 · 0 评论 -
Python字符串内建函数
序号方法及描述1capitalize(),将字符串的第一个字符转换为大写2center(width,fillchar),返回一个指定宽度width居中的字符串,fillchar为填充的字符,默认为空格3count(str,beg=0,end=len(string)),返回str在string中出现的次数,如果beg和end指定,就返回指定范围内s...原创 2017-11-10 21:56:24 · 164 阅读 · 0 评论 -
Python爬虫--Selenium模拟用户的键盘鼠标操作
基于 HttpClient的爬虫对于许多混淆的加密库需要慢慢调试,找到加密原理,耗时耗力,等你破解了加密方法说不定又换了新的加密方法,所以,针对这样的网站还是选择内置浏览引擎的爬虫(关键词:PhantomJS,Selenium)在浏览器引擎运行页面,直接获取了正确的结果,拿到需要的数据.SeleniumSelenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的...原创 2018-07-21 11:11:48 · 2223 阅读 · 0 评论 -
Python 3中的33个关键字
关键字不能作为变量名使用FalseNoneTrueclasscontinuedeffinallyforfromnonlocallambdaisreturntrywhileandasassertdelelifelseglobalifimportnotorpasswithyiel...原创 2017-10-23 10:44:57 · 307 阅读 · 0 评论 -
Python——数学函数
函数返回值(描述)abs(x)返回数字的绝对值,如abs(-10),返回10ceil(x)返回数字的上入整数,如ceil(4.1),返回5cmp(x,y)如果x<y就返回-1,如果x==y就返回0,如果x>y就返回1exp(x)返回e的x次幂(ex),如math.exp(1)返回2.718281828459045fabs...原创 2017-11-01 23:57:35 · 140 阅读 · 0 评论 -
Python标准库
Python本身内置的巨大标准库提供了丰富的工具和功能,可以满足你能想到的任何需求。很多Python学习者习惯于自己写代码实现一些基本功能,然后惊奇的发现很多功能已经内置了,直接就可以使用。任何时候想要自己写函数处理一些简单的工作时,请停下来先看一下标准库。至少大概浏览一遍标准库,这样,下次需要一个函数时就能知道是否可以利用标准库中已有的函数了。atexit 允许注册在程序...原创 2018-09-17 13:27:39 · 99 阅读 · 0 评论 -
Python——字典内置方法
序号函数及描述1radiansdict.clesr(),删除字典内所有元素2radiansdict.copy(),返回一个字典的浅复制3radiansdict.fromkeys(),创建一个新字典,以序列seq中的元素做字典的键,val为字典所有键对应的初始值4radiansdict.get(key,default=None),返回指定键...原创 2017-11-08 15:16:49 · 163 阅读 · 0 评论 -
Python——列表方法
序号方法1list.append(obj),在列表末尾添加新对象2list.count(obj),统计某个元素在列表中出现的次数3list.extend(seq),在末尾一次性追加另一个序列中的多个值(用新列表拓展原来的列表)4list.index(obj),从列表中找出某个值第一个匹配的索引位置5list,insert(inde...原创 2017-11-08 00:03:00 · 79 阅读 · 0 评论 -
Python 3 的运算符及优先级
Python 支持以下7种运算符1.算术运算符假设变量a=10,变量b=5运算符描述实例+加:两个对象相加a+b输出结果为15-减:得到负数或一个数减另一个数a-b输出结果为5*乘:两个数相乘或返回一个被重复若干次的字符串a*b输出结果为50/除:x除以ya/b输出结果为2%取余:返回除法的余数b%a输出结果...原创 2017-10-23 10:46:42 · 128 阅读 · 0 评论