![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
chenkaifang
这个作者很懒,什么都没留下…
展开
-
win7环境下python3+Pyqt4+eric5和Sublime Text3和Eclipse+Pydev开发环境搭建
在考虑使用wxPython还是PyQt4来进行Python GUI开发的时候发现wxPython居然没有很好的支持Python3,还是停留在2.7的阶段,虽然有ProjectPhoenix的支持,但还是感觉不太地道,于是选择了PyQt来进行开发,PyQt最新版达到5.x,与Python3.x很好的结合。 刚开始准备的开发框架是WingIDE6.0+python3.5+PyQt5,后原创 2017-01-23 18:52:48 · 1858 阅读 · 0 评论 -
python爬虫系列11--CSS选择器
参考链接:http://www.w3school.com.cn/cssref/css_selectors.asphttps://blog.csdn.net/u013007900/article/details/54728408css是一门将HTML文档样式化的语言。选择器由它定义,并与特定的HTML元素的样式相关连。在CSS中,选择器是一种模式,用于选择需要添加样式的元素。选择器 ...原创 2018-06-07 22:30:07 · 715 阅读 · 0 评论 -
python爬虫系列5--xpath
教程地址:http://www.runoob.com/xpath/xpath-tutorial.htmlXPath在python的爬虫学习中,起着举足轻重的地位,对比正则表达式re两者可以完成同样的工作,实现的功能也差不多,但XPath明显比re具有优势,在网页分析上使re退居二线。xpath全称为XML Path Language 一种小型的查询语言,所具备的优点: 1) 可在XML中查找信息 ...原创 2018-06-01 23:10:39 · 193 阅读 · 0 评论 -
Python并发编程
+ 协程协程,Coroutine,是一种用户态的轻量级线程。协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方(非CPU),在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,CPU感觉不到协程的存在,协程是用户自己控制的。协程实现原理:利用一个线...原创 2018-07-08 19:11:00 · 7678 阅读 · 1 评论 -
Python Web系列学习1
1、全栈网络框架:除了封装网络和线程操作,还提供HTTP栈、数据库读写管理、HTML模板引擎等一系列功能的网络框架。Django、Flask、Tornado是全栈网络框架的典型标杆,Twisted更专注于网络底层的高性能封装而不提供HTML模板引擎等界面功能。2、目前主流的Web服务器包括Nginx、Apache、lighttpd、IIS等,Python服务器端程序在Linux平台下使用最广泛...原创 2018-07-08 21:17:16 · 232 阅读 · 0 评论 -
Python Web系列学习2-Django
1、django-admin:Django项目管理工具,建立一个Django项目用 django-admin startproject xxx,生成的站点目录结构为:2、进入站点目录,建立一个应用:python manage.py startapp 应用名称 3、在完成Django项目和应用的建立后,开始编写网站的应用代码,4、python manage .py run...原创 2018-07-08 22:20:36 · 157 阅读 · 0 评论 -
Python Web系列学习3-Tornado
1、Tornado常被用作大型站点的接口服务框架,协程是Tornado推荐的编程方式。Tornado集成了丰富的用户身份验证功能。2、同步I/O可以理解为被调用的I/O函数会阻塞调用函数的执行,而异步I/O则不会。tornado.httpclient.HTTPClient,tornado.httpclient.AsyncHTTPClient。tornado的协程库gen。@gen.co...原创 2018-07-08 22:36:12 · 370 阅读 · 0 评论 -
Python Web系列学习4-Twisted
1、Twisted是一个高性能的编程框架,在不同的操作系统上利用不同的底层技术实现了高效能通信。在Windows中,Twisted的实现基于I/O完成端口技术。在开发方法上,使用异步编程模型。2、在异步编程模型与多线程模型之间还有一个不同:在多线程程序中,对于停止某个线程启动另外一个线程,其决定权并不在程序员手里而在操作系统那里,因此,程序员在编写程序过程中必须要假设在任何时候一个线程都有可能...原创 2018-07-22 18:55:48 · 250 阅读 · 0 评论 -
python爬虫系列12--Scrapy应用
1、Scrapy架构 2、每个Spider必须继承自scrapy.Spider类,scrapy.Spider没有什么特殊的功能,仅仅提供了start_requests()的默认实现,读取并请求Spider属性中的start_urls,并根据返回的response调用Spider的parse方法。Scrapy除了提供S...原创 2018-07-09 23:18:27 · 356 阅读 · 0 评论 -
Python3面向对象编程
1、类名用驼峰法,每个单词首字母大写。2、Python有构造函数__new__和初始化函数__init__。3、绝对导入:需要指明模块、函数的完整路径。 相对导入:. ..4、每个模块的__name__属性,导入的时候赋值模块名字,直接执行的时候赋值__main__。5、一个类里的所有属性和方法都是公共的,可以加_前缀提示是私...原创 2018-07-28 22:47:11 · 316 阅读 · 0 评论 -
Python拾遗1
1、变量名是给编译器和程序员看的,操作时转换成地址,符号表起连接作用。符号表包括常数表、变量名表、数组表、过程名表、标号表等。2、python为什么比C/C++慢?a、支持动态类型,执行时需要先判断类型;b、执行时需要先翻译再执行,效率低;c、虚拟机带来间接开销;d、GIL带来的伪多线程问题。3、Psyco是PVM增强工具,将部分程序字节码转换成真正的二进制机器码,加快执行...原创 2018-07-20 22:51:09 · 485 阅读 · 0 评论 -
Python拾遗2
#Python高级编程(第2版)1、常见的装饰器模式参数检查、缓存、代理、上下文提供者2、Python3新增函数注解,使用场景:类型检查、让IDE显示函数接受和返回的类型、函数重载、其他语言之间的桥梁、适配、谓词逻辑函数、数据库查询映射、RPC参数编组、参数和返回值的文档。3、通用命名方式,PEP8+团队內建风格:+ 常用使用大写加下划线+ 需要被保护的变量加一个前缀下...原创 2018-08-01 23:27:06 · 121 阅读 · 0 评论 -
Python中常用的设计模式
主要参考网址:http://www.pythontip.com/pythonPatterns/创建型模式:1、抽象工厂模式class PetShop: def __init__(self,animal_factory=None): self.pet_factory = animal_factory def show_pet(self): ...原创 2018-08-02 23:59:59 · 2304 阅读 · 0 评论 -
Python面试题零散
1、Python内存管理Python提供了对内存的垃圾收集机制,但是它将不用的内存放到内存池而不是返回给操作系统。1,Pymalloc机制。为了加速Python的执行效率,Python引入了一个内存池机制,用于管理对小块内存的申请和释放。2,Python中所有小于256个字节的对象都使用pymalloc实现的分配器,而大的对象则使用系统的malloc。3,对于Python对象,如整...原创 2018-08-03 07:09:58 · 205 阅读 · 0 评论 -
python爬虫系列X--小知识汇总
X系列不针对专门技术,只是一些辅助,内容零散添加。1、为爬虫运行状态设置邮件提醒,使用python smtp、email模块完成。from email.mime.text import MIMETextfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseadd...原创 2018-06-06 22:22:54 · 254 阅读 · 0 评论 -
python爬虫系列4--requests
+ Requests是用Python语言编写,基于 urllib,采用 Apache2 Licensed开源协议的HTTP库。它比 urllib更加方便,可以节约我们大量的工作,完全满足HTTP测试需求。Requests的哲学是以PEP20的习语为中心开发的,所以它比urllib更加 Pythoner。更重要的一点是它支持 Python3。Requests使用的是urllib3,因此继承了它的所有...原创 2018-05-30 21:19:00 · 216 阅读 · 0 评论 -
python爬虫系列4--BeautifulSoup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。+ soup = BeautifulSoup(html_string),soup.title、.p、.a、.head、.body、.b,soup.find_all,soup.find(id=xxx),soup.get_text+ Beautiful Soup支持Python标准库中的HTML解析器(html....原创 2018-05-29 23:45:41 · 471 阅读 · 0 评论 -
python基础知识
作为非科班的python小白,有时候对于一些python的基本知识和原理还一知半解,对于之前不清楚的地方摘录在此,供后续查看。Be Pythonic!1、effective python1、写代码前确定python版本python --version一般python2用2.7.5版本,centos7自带的就是2.7.5版本。现在开发一般用python3,两者区别比较大,建议先确认...原创 2017-12-27 21:35:33 · 229 阅读 · 0 评论 -
Sublime Text3使用点滴积累
1、如何创建工程?先手动新建文件夹,然后鼠标左键点击Project>Add Folder to Project...,选择创建的文件夹,确定之后ST3(Sublime Text3)会自动将子文件夹、文件添加进来并在侧边栏显示。2、系统中同时安装了python2.x和python3.x,如何配置ST3支持两个版本的编译器的编译?打开Sublime Text 3,依次进入new build sy...原创 2017-12-25 22:32:58 · 2525 阅读 · 0 评论 -
python多线程与多进程
##多进程与多线程参考链接:http://www.yeayee.com/article-6597958-1.html###多进程+ python 中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进 程包multiprocessing,只需要定义一个函数,Python会完成其他所有事情。借助这个包,可以轻松...翻译 2018-04-30 22:15:46 · 151 阅读 · 0 评论 -
python爬虫学习
#python爬虫爬虫技能树:![爬虫技能树.jpg](D:/study/Python学习/爬虫技能树.jpg "")##爬虫方案分析参考链接:https://www.cnblogs.com/zw369/p/6123569.html1、python自带的urlib2和urlib或者第三方模块requests   这种方案适合简单的页面爬虫,比如爬取博客园推荐文章...原创 2018-04-30 22:24:59 · 314 阅读 · 0 评论 -
PyDev+Eclipse使用点滴
1、在工程下创建新的.py文件之后,右击文件——Properitie,将默认为GBK的编码改为UTF-8编码;原创 2018-04-19 20:18:43 · 208 阅读 · 0 评论 -
python开发工程师招聘要求
##python开发工程师+ python爬虫工程师负责大规模文本、图像等数据的抓取、结构化信息的提取、质量识别等工作。1. 开发分布式网络爬虫2. 提取结构化信息3. 识别结构化信息的质量岗位要求:1. 熟悉 Linux 开发环境,熟练使用 Shell2. 熟悉 高并发、高性能分布式系统3. 熟悉 HTTP协议,熟悉 HTML,JavaScript,XPath4. 熟悉 网络协议5. 从事 Py...原创 2018-05-02 21:52:38 · 16410 阅读 · 0 评论 -
python爬虫系列6--模拟登陆相关
+ 方式原理爬虫爬取数据时,有些数据并不能让游客访问到,这时候就需要进行登录,再爬取数据,登录后再爬取的手段很多,但核心都是通过cookie的方式来记录身份信息,因此模拟登录的核心在于对cookie的使用。参考链接:https://www.cnblogs.com/chenxiaohan/p/7654667.html(1)直接使用已知cookie访问 简单地说cookie保存在发起请求...原创 2018-06-02 20:56:52 · 233 阅读 · 0 评论 -
python爬虫系列1--方案概述
爬虫技能树:##爬虫进阶必须 http://www.yeayee.com/article-6569383-1.html0. requests 模块, beautifulsoup模块, css选择器语法, re正则模块, http头编写, cookies,json解析等一定要掌握至熟练及以上程度.1. 爬取重ajax页面, 推荐phantomjs,其次...原创 2018-05-26 20:44:16 · 531 阅读 · 0 评论 -
python爬虫系列7--动态网页爬取 selenium phantomjs chromedriver
####selenium + phantomjs+ SeleniumSelenium可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。Selenium自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们大多数时候需要让它内嵌在代码中运行,所以我们可以用一个叫PhantomJS的工具代替真实的浏览器(或者使用chr...原创 2018-06-03 22:58:25 · 860 阅读 · 0 评论 -
python爬虫系列3--正则表达式
正则表达式第一件能做的事是能够匹配不定长的字符集。+ 正则表达式查询表:\ 将下一字符标记为特殊字符、文本、反向引用或八进制转义符。例如,“n”匹配字符“n”。“\n”匹配换行符。序列“\”匹配“\”,“(”匹配“(”。^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性,^ 还会与“\n”或“\r”之后的位置匹配。$ 匹配输入字符串结尾的位置...原创 2018-05-29 22:57:41 · 851 阅读 · 0 评论 -
python爬虫系列8--Scrapy开发环境搭建和简单使用介绍
+ 简介参考地址:http://python.jobbole.com/86405/Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。Scrapy使用了Twisted异步网络库来处理网络通讯。Scrapy运行流程大概如下: 引擎从调度器中取出一个链接(URL)用于...原创 2018-06-05 21:32:29 · 370 阅读 · 0 评论 -
Python高级拾遗1
1、Python解释器碰到特殊的句法时,会使用特殊方法去激活一些基本的对象操作,这些特殊方法的名字以两个下划线开头,以两个下划线结尾,这些特殊方法名能让你自己的对象实现和支持以下语言架构并与之交互:迭代、集合类、属性访问、运算符重载、函数和方法的调用、对象的创建和销毁、字符串表示形式和格式化、管理上下文(with块)。namedtuple具名元组,创建一些有少数属性没有方法的类。具名元组有一些...原创 2018-08-08 21:54:53 · 311 阅读 · 0 评论