2018年03月_LIJZ_Python

06月 05月 04月 03月

原创 Tornado服务端基本的配置文件（Python）

web_set = { # -------一般设置-------- 'debug': True, 'port': 8836, 'autoreload': True, 'ui_modules': {}, # 设置默认的处理函数类，如：404页面等 'default_handler_class': None, 'serve_traceba...

2018-03-28 16:02:16 1834

原创 Tornado简单Get请求返回JSON字符串（Python）

from tornado import genfrom tornado.web import RequestHandlerfrom tornado.escape import json_decode, json_encode, utf8import jsonclass BaseHandler(RequestHandler): """解决JS跨域请求问题""" def s...

2018-03-28 15:12:52 9453 1

一、常用库1.NumPy　　NumPy是高性能科学计算和数据分析的基础包。部分功能如下：ndarray, 具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。用于对整组数据进行快速运算的标准数学函数（无需编写循环）。用于读写磁盘数据的工具以及用于操作内存映射文件的工具。线性代数、随机数生成以及傅里叶变换功能。用于集成C、C++、Fortran等语言编写的代码的工具。　　首先要导入numpy库...

2018-03-27 15:26:21 825

原创 urllib通过Get请求爬取KeyWords页面信息

import baseSpiderimport urllib# www.baidu.com/s?wd=pythonkeyword = input("请输入你要查询的关键词:")wd = {"wd":keyword}# 这里需要做urlencode,以保证浏览器能够识别所有的字符信息wd = urllib.parse.urlencode(wd)#print(wd)url = "...

2018-03-27 14:36:04 454 1

原创 OSI七层网络模型和四层网络模型详解

1. 应用层：应用层（Application Layer）是OSI参考模型的最高层，它是计算机用户，以及各种应用程序和网络之间的接口，其功能是直接向用户提供服务，完成用户希望在网络上完成的各种工作。用户接口：应用层是用户与网络，以及应用程序与网络间的直接接口，使得用户能够与网络进行交互式联系。实现各种服务：该层具有的各种应用程序可以完成和实现用户请求的各种服务。2. 表示层： ...

2018-03-27 13:09:59 2627

原创 Numpy简单绘制K线图实现上涨下跌效果图（Python）

# 将原始数据中日-月-年格式的日期字符串转换为numpy可以处理的年月日格式def dmy2ymd(dmy): dmy = str(dmy, encoding='utf-8') date = dt.datetime.strptime(dmy, '%d-%m-%Y').date() dmy = date.strftime('%Y-%m-%d') return dm...

2018-03-27 11:28:28 2829

原创 DataScience基础学习记录（Python）

一、numpy，Numerical Python，数值的Python1.科学计算的算法库：解方程、求积分、线性代数；2.高性能算法的集大成者；3.几乎是所有高级算法库的基础库； scipy scikits pandas matplotlib \ | | / numpy4.开源，免费。...

2018-03-27 09:48:01 738

原创爬虫代理和本地封装类库的实现和使用（Python）

1. 封装好的类库from urllib import request, errorfrom requests import RequestExceptionimport lijzMD5from lijzLog import *import requestsimport json, re, time, random, osfrom selenium import webdriverf...

2018-03-25 19:02:49 461

原创爬虫Selenium+PhantomJS爬取动态网站图片信息（Python）

from urllib import request, errorfrom requests import RequestExceptionimport lijzMD5from lijzLog import *import requestsimport json, re, time, random, osfrom selenium import webdriverfrom bs4 ...

2018-03-24 22:07:05 1020

原创请阐述你使用python的心得，及python的特点？

使用Python心得：Python是一门面向对象的解释性语言（脚本语言），这一类语言的特点就是不用编译，程序在运行的过程中，由对应的解释器向CPU进行翻译，个人理解就是一边编译一边执行，它对于代码格式要求比较严格，不需要分号来决定一句代码是否结束，一行代码就是一句代码！Python的特点：面象对象，免费，可移植，可混合编程，简单易学易用，开发效率高，应用领域广泛，开源的...

2018-03-24 17:22:09 1081

原创爬虫Scrapy框架的安装和使用（Python）

Scrapy框架：好处：省事，快速搭建一个系统，快速抓取数据。坏处：细节不清楚，框架的限制需要考虑，学习成本高，可能隐藏了很多未知的问题。1. 安装Scrapy 安装Scrapy in Ubuntu： sudo apt-get install python-dev python-piplibxml2-dev libxslt1-dev ...

2018-03-23 15:03:07 264

原创单例模式封装的logging类库的实现（Python）

import loggingimport sysdef __singletion(cls): """ 单例模式的装饰器函数 :param cls: 实体类 :return: 返回实体类对象 """ instances = {} def getInstance(*args, **kwargs): if cls not i...

2018-03-23 11:51:26 1976

原创 Python中单例模式的实现方式

实现方式：在 Python 中，我们可以用多种方法来实现单例模式：使用模块使用 __new__使用装饰器（decorator）使用元类（metaclass）使用模块其实，Python 的模块就是天然的单例模式，因为模块在第一次导入时，会生成 .pyc 文件，当第二次导入时，就会直接加载 .pyc 文件，而不会再次执行模块代码。因此，我们只需把相关的函数和数据定义在一个模块中，就可以获得一个单例对象...

2018-03-21 18:46:45 2737

原创 Python中的logging模块

1. 基本用法import loggingimport sys# 获取logger实例，如果参数为空则返回root loggerlogger = logging.getLogger("AppName")# 指定logger输出格式formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')# ...

2018-03-21 18:17:54 208

原创爬虫requests库简单抓取页面信息功能实现（Python）

import requestsimport re, json,time,randomfrom requests import RequestExceptionUserAgentList = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.9...

2018-03-21 15:46:11 1272

原创 Selenium + PhantomJS爬去动态网站的数据示例（Python）

Selenium一个Web自动化测试工具，最初是为了网站自动化测试而开发的；我们玩游戏有按键精灵；Selenium也可以做类似的事情，但是它是在浏览器中做这样的事情。安装： sudo pip install selenium(pip install selenium)在Python中from selenium import webdriver 来测试是否装好说明：想要用Python做自动化测试的童...

2018-03-21 11:22:02 225

原创常见的递归实现（Python）

1. 递归实现n个斐波那契数列：def fibonacci(n): if n == 0: return 0 elif n == 1: return 1 else: return fibonacci(n-1) + fibonacci(n-2)print([fibonacci(x) for x in range(10)])2....

2018-03-20 18:30:29 13556 2

原创爬虫Get请求参数匹配得到字典类型格式（Python）

import reif __name__ == '__main__': urls = 'i=d%0A&from=AUTO&to=AUTO&smartresult=dict' pattern = r'&' reg = re.compile(pattern).split(urls) pattern2 = r'=' d = {}...

2018-03-20 17:40:24 1537

原创 urllib通过Post请求爬去数据并解析JSON（Python）

1. 封装的请求post函数：def downloadPostPage(url, dictdata, headers, charset='utf-8', reqnum=5): data = bytes(parse.urlencode(dictdata), encoding=charset) req = request.Request(url, data, headers=hea...

2018-03-20 17:13:13 3024

原创 JSON的简单数据解析与转换（Python）

import jsonjsonDict = {'One':'1', 'Two':'2'}# json encode# dict --> json string# json.dumpsjsonDumps = json.dumps(jsonDict)print(jsonDumps) # str类型print(type(jsonDumps)) # <cla...

2018-03-20 14:42:06 300

原创 urllib模块的使用（Python3.x）

1.基本方法urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)- url: 需要打开的网址- data：Post提交的数据- timeout：设置网站的访问超时时间...

2018-03-20 13:31:32 187

原创使用进程池进行大批量文件拷贝实现（Python）

from multiprocessing import Processfrom multiprocessing import Poolfrom multiprocessing import Managerimport hashlib, osclass fileCopy: def __init__(self, source, target): self.sourc...

2018-03-20 10:48:27 952

原创进程、线程、协程总结（Python）

一. 概念进程计算机程序是磁盘中可执行的二进制(或其他类型)的数据，只有在被读取到内存中，被操作系统调用的时候才开始其生命周期。进程是程序的一次执行。每个进程都有自己的地址空间，内存，数据及其它记录其运轨迹的辅助数据。操作系统管理再起上运行的所有进程，并为这些进程公平分配时间，进程也可以通过fork和spwan操作来完成其他的任务。不过各个进程有自己的内存空间，数据栈等，所以只能使用进程间通信(I...

2018-03-20 09:10:12 177

原创常用的正则表达式匹配（Python）

手机号： r'(13|14|15|18|17)[0-9]{9}' 邮箱：^\w+@\w+\.[^@]+$ 网址url: r'^((https|http)?:\/\/)[^\s]+' 中文匹配： r'[\u4e00-\u9fa5]' 身份证号码： r'\d{17}[\d|x]|\d{15}' 邮政编码： r'\d{6}' IP地址匹配： r'^(?:[0-9]{1,3}\.){3}[0-9]...

2018-03-19 18:57:50 735

原创爬虫XPath库的使用（Python）

XPath的使用： bookStore.xml文档内容如下： <?xml version="1.0" encoding="utf-8" ?> <bookstore> <book> <title lang="eng">Harry Potter</title&

2018-03-19 18:45:55 539

原创 BeautifulSoup库中解析器的比较（Python）

1. 安装解析库 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操作系统不同,可以选择下列方法来安装lxml:$ apt-get install Python-lxml$ easy_install lxml$ pip install lxml另一个可供选择的解析器是纯Python实现的 html5lib , ...

2018-03-19 18:36:46 1624

原创爬虫库BeautifulSoup的使用（Python）

1. 安装 sudo pip3 install beautifulsoup42. 导包 from bs4 import BeautifulSoup3. 测试代码from bs4 import BeautifulSouphtml_doc = """<html><head><title>The Dormouse's story...

2018-03-19 18:31:05 229

原创打印三角形基础面试题（Python）

打印结果如下： 1 121 12321 1234321123454321请用代码实现：def fn(n): for i in range(1, 6): print(" " * (n - i), end='') for j in range(1, i+1): print(j, end='') for ...

2018-03-19 14:53:25 2234

原创简单爬虫函数的封装（Python）

def downloadPage2(url, req_num=10, charset='utf-8', user_agent=None): """ 下载网页信息,user-Agent的设置处理了500-600的错误限制了错误处理的上限次数网页的编码设置 :param url: 请求的url连接 :return: 返回值 """...

2018-03-19 10:22:01 1174

原创 Python中 list、tuple、dict、set的区别（Python）

list列表：有序可迭代的可变序列，随时增删。 tuple元组：有序可迭代不可变序列，一旦初始化，无法修改。 dict字典：以（key-value）对方式存储数据，查找速度快，dict的key必须是不可变对象（字符串、数字、元组）等。 set集合：集合是无序的，key不能重复。总结：1、list、tuple是有序列表；dict、set是无序列表　　 2、list元素可变、tuple元素...

2018-03-17 15:19:26 557

原创 range和xrange的区别（Python）

1. range和xrange都是在循环中使用，输出结果一样。 range([start], stop[, step]) xrange([start], stop[, step])2. range返回的是一个list对象，而xrange返回的是一个生成器对象(xrange object)。3. xrange则不会直接生成一个list，而是每次调用返回其中的一个值，内存...

2018-03-17 14:56:45 509

原创多进程与多线程区别、优缺点（Python）

多进程在Linux系统下，使用os.fork(), 调用一次，返回两次，操作系统自动把当前进程(父进程)复制了一份(子进程)，然后分别在父进程和子进程内返回。子进程永远返回0，父进程返回子进程的ID。经过这样做，父进程就能fork出很多子进程，并可以记录下子进程的ID号了，子进程可以通过getppid()来获取父进程ID。fork()仅在Unix/Linux下使用，windows则不行。所以，在...

2018-03-17 14:38:38 4976 1

原创协程IO多路复用（Python）

说明：协程是进程和线程的升级版,进程和线程都面临着内核态和用户态的切换问题而耗费许多切换时间, 而协程就是用户自己控制切换的时机,不再需要陷入系统的内核态。优点： 1. 协程的执行效率非常高。因为子程序切换不是线程切换，而是由程序自身控制。因此，没有线程切换的开销，和多线程相比，线程数量越多，相同数量的协程体现出的优势越明显 2...

2018-03-16 14:56:46 688

原创 Django自带加密模块的使用

1. 导入django自带的加密算法模块 from django.contrib.auth.hashers import make_password, check_password2. make_password(参数1，参数2，参数3) 1. 参数1：需要加密的字符串 2. 参数2：是否每次都生成不同的加密串，默认为None, 如果给定任意一个字...

2018-03-16 14:55:46 705

原创去掉一个列表中重复出现的元素（Python）

lst = [1, 2, 2 ,4, 5, 6, 4, 6, 8, 1]#方法１　利用了集合元素的唯一性实现，但不保证顺序print(list(set(lst)))#方法２def deldup(lst): d = {} d = d.fromkeys(lst) return list(d)print(deldup(lst))#方法３　时间复杂度和空间复杂度高．...

2018-03-16 14:28:12 2406

原创排序算法之桶排序（Python）

def bucket_sort(seq): length = (max(seq) - min(seq)) + 1 buckets = [0] * length m = min(seq) for value in seq: # 遍历序列，在相应的位置上加1，计数 buckets[value - m] += 1 result = [] ...

2018-03-16 14:08:17 221

原创算法之归并排序（Python）

def merge(left, right): i, j = 0, 0 result = [] # 将两个序列按升序合并 while i < len(left) and j < len(right): if left[i] <= right[j]: result.append(left[i]) ...

2018-03-16 13:19:27 178

原创算法之快速排序（Python）

def partition(seq, low, high): """以枢轴元素为分界点，将序列分为两部分：小值、大值""" i, j = low, high base = seq[i] # 将序列的第一个元素作为枢轴元素 while i < j: # 从表的两端交替向中间扫描 while i < j and seq[j] >...

2018-03-16 13:17:57 178

原创二叉树实现数据存储和遍历（Python）

class TreeNode: def __init__(self, data, left, right): self.data = data self.left = left self.right = rightclass BinaryTree: def __init__(self): self.root = N...

2018-03-16 13:15:00 1524