国师的玄兵是什么-CSDN博客

原创 scrapy爬虫selenium模拟无法登陆和爬取的问题

使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。但是selenium在运行的时候会暴露出一些预定义的Javascript变量（特征字符串），例如"window.naviga...

2019-01-16 11:28:33 1259

原创实现简单的词云和柱状图展示及jiebafen分词和计数

词云results = ['python','java','python','flask','django','flask']result_dic = {}for item_str in results: if item_str not in result_dic: result_dic[item_str] = 1 else: result...

2019-01-16 13:11:36 427

原创初步认识pandas

pandas应用import pandas as pd选取等于某些值的行记录用 ==df.loc[df[‘column_name’] == some_value]选取某列是否是某一类型的数值用 isindf.loc[df[‘column_name’].isin(some_values)]多种条件的选取用 &df.loc[(df[‘column’] == some...

2019-01-16 11:49:00 151

原创初步认识numpy

如果有jupyter的话在jupyter实验可以看到每一步的效果便于理解Jupyter用法:在jupyter文件如note.ipynb所在的文件夹打开cmd命令行输入 jupyter notebookimport numpy as np两点间的距离:def len(p1,p2): x = np.square(p1[0] - p2[0]) y = np.squa...

2019-01-16 11:45:02 224

原创 Python 进阶4. 装饰器

最简装饰器def deco(func): def wrap(*args, **kwargs): return func(*args, **kwargs) return wrap@decodef foo(a, b): return a ** b原理对比被装饰前后的 foo.__name__ 和 foo.__doc__from fun...

2018-12-06 15:57:40 122

原创 Python 进阶3. 迭代器, 生成器

generator: 生成器是一种特殊的迭代器, 不需要自定义 __iter__ 和 __next__生成器函数 (yield)生成器表达式class Range: def __init__(self, start, end=None, step=1): if end is None: self.end = start ...

2018-12-06 12:32:20 96

原创 Python 进阶2. * 和 ** 的用法

函数定义时接收不定长参数def foo(*args, **kwargs): pass参数传递def foo(x, y, z, a, b): print(x) print(y) print(z) print(a) print(b)lst = [1, 2, 3]dic = {'a': 22, 'b': 77}foo(*lst, **...

2018-12-06 12:24:26 1176

原创 Python 进阶整理1. PEP8 编码规范, 及开发中的一些惯例和建议

from django.conf import settingsfrom user.models import *import sys, osmod=0xffffffffdef foo ( a , b = 123 ): c={ 'x' : 111 , 'y' : 222 }#定义一个字典 d=[ 1 , 3,5 ] return a,b , cdef bar(...

2018-12-06 12:20:35 104

原创 request的初步了解

Requests: 让 HTTP 服务人类虽然Python的标准库中 urllib 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用：）Requests 继承了urllib的所有特性。Req...

2018-10-28 19:54:29 105

原创 python基础知识整理6——django项目创建

创建项目在django中，项目的组织结构为一个项目包含多个应用，一个应用对应一个业务模块。创建项目的名称为test1，完成"图书-英雄"信息的维护，创建应用名称为booktest。在当前用户的某个目录下创建项目，这样不会发生权限问题。此处在/home/python/pytest/目录下创建项目cd /home/python/ mkdir pytest cd p...

2018-10-28 19:44:15 154

原创 python基础知识整理5——类方法、静态方法和继承相关问题

类方法和静态方法method- 通过实例调用- 可以引用类内部的任何属性和方法classmethod- 无需实例化- 可以调用类属性和类方法- 无法取到普通的成员属性和方法staticmethod- 无需实例化- 无法渠道类内部的任何属性和方法，完全独立的一个方法继承相关问题什么是多态class Animal: def run(self): ...

2018-10-26 21:57:28 311

原创 python基础知识整理4——函数闭包

函数闭包Function Clouse:引用了自由变量的函数既是一个闭包.这个被引用的自由变量和这个函数一同存在，即便它已经离开了创造它的环境也一样.比如下面的函数的返回值def foo(): I = [] def bar(i): I.append(i) return barf1 = foo()f2 = foo()#实验下列语句执行结果f1(1)f1(2)f2(...

2018-10-26 21:44:07 110

转载详解CSS的相对定位和绝对定位

详解CSS的相对定位和绝对定位CSS的相对定位和绝对定位通常情况下，我们元素的position属性的值默认为static 就是没有定位，元素出现在正常的文档流中，，这个时候你给这个元素设置的left,right,bottom,top这些偏移属性都是没有效果的，不会生效，比如你设置一个距离左边距偏移100px的声明：left:100px 那么这条声明不会起到任何效果。还有z-index属性在这...

2018-10-24 22:15:11 98

原创 python基础知识整理——装饰器

最简装饰器def deco(func): def wrap(*args, **kwargs): return func(*args, **kwargs) return wrap@decodef foo(a, b): return a ** b原理对比被装饰前后的 foo.__name__ 和 foo.__doc__from functool...

2018-10-24 22:09:22 130

原创 python基础知识整理2

可迭代对象可⽤于迭代操作（for 循环）的对象。（拥有 __iter__ ⽅法的对象）注意： __iter__ ⽅法的返回值是迭代器对象迭代器任何由实现了 __iter__ ⽅法的类创建的对象都是可迭代对象。任何由实现了 __iter__ 和 __next__ ⽅法的类创建的对象都是迭代器对象。迭代器是懒加载的（延迟加载的）使⽤for对迭代器进⾏迭代时，每次迭代，都将执⾏迭代器...

2018-10-23 20:37:59 119

原创 python基础知识整理1

变量：存储对象保存在内存中当我们查看变量的类型时，其实确切地说查看的是对象的类型。变量保存的是对象的引⽤ students = ['⼩明'] print(id(students)) students.append('⼩花') print(id(students))想⼀想：上述代码中两次输出结果⼀样吗？每创建⼀个变量，都开辟⼀个新的空间，将值的地址赋值...

2018-10-23 20:27:52 96

转载 css选择器的分类

常用的选择器有如下几种：1、标签选择器标签选择器，此种选择器影响范围大，建议尽量应用在层级选择器中。举例：*{margin:0;padding:0}div{color:red} <div>....</div> <div class="box">....</div> <!..

2018-10-23 20:15:39 180

原创初步了解css

初步了解cssCSS是 Cascading Style Sheets 的首字母缩写，意思是层叠样式表。有了CSS，html中大部分表现样式的标签就废弃不用了，html只负责文档的结构和内容，表现形式完全交给CSS，html文档变得更加简洁。css基本语法css的定义方法是：选择器 { 属性:值; 属性:值; 属性:值;}选择器是将样式和页面元素关联起来的名称，属性是希望设置的样式属性每...

2018-10-23 20:12:22 98

weixin_42573993的博客