- 博客(18)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 scrapy爬虫selenium模拟无法登陆和爬取的问题
使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案,它通吃各种数据加载方式,能够绕过客户JS加密,绕过爬虫检测,绕过签名机制。它的应用,使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹,因此无法被网站直接识别和拦截。但是selenium在运行的时候会暴露出一些预定义的Javascript变量(特征字符串),例如"window.naviga...
2019-01-16 11:28:33
1271
原创 实现简单的词云和柱状图展示及jiebafen分词和计数
词云results = ['python','java','python','flask','django','flask']result_dic = {}for item_str in results: if item_str not in result_dic: result_dic[item_str] = 1 else: result...
2019-01-16 13:11:36
453
原创 初步认识pandas
pandas应用import pandas as pd选取等于某些值的行记录 用 ==df.loc[df[‘column_name’] == some_value]选取某列是否是某一类型的数值 用 isindf.loc[df[‘column_name’].isin(some_values)]多种条件的选取 用 &df.loc[(df[‘column’] == some...
2019-01-16 11:49:00
179
原创 初步认识numpy
如果有jupyter的话在jupyter实验可以看到每一步的效果便于理解Jupyter用法:在jupyter文件如note.ipynb所在的文件夹打开cmd命令行输入 jupyter notebookimport numpy as np两点间的距离:def len(p1,p2): x = np.square(p1[0] - p2[0]) y = np.squa...
2019-01-16 11:45:02
236
原创 Python 进阶4. 装饰器
最简装饰器def deco(func): def wrap(*args, **kwargs): return func(*args, **kwargs) return wrap@decodef foo(a, b): return a ** b原理对比被装饰前后的 foo.__name__ 和 foo.__doc__from fun...
2018-12-06 15:57:40
146
原创 Python 进阶3. 迭代器, 生成器
generator: 生成器是一种特殊的迭代器, 不需要自定义 __iter__ 和 __next__生成器函数 (yield)生成器表达式class Range: def __init__(self, start, end=None, step=1): if end is None: self.end = start ...
2018-12-06 12:32:20
106
原创 Python 进阶2. * 和 ** 的用法
函数定义时接收不定长参数def foo(*args, **kwargs): pass参数传递def foo(x, y, z, a, b): print(x) print(y) print(z) print(a) print(b)lst = [1, 2, 3]dic = {'a': 22, 'b': 77}foo(*lst, **...
2018-12-06 12:24:26
1182
原创 Python 进阶整理1. PEP8 编码规范, 及开发中的一些惯例和建议
from django.conf import settingsfrom user.models import *import sys, osmod=0xffffffffdef foo ( a , b = 123 ): c={ 'x' : 111 , 'y' : 222 }#定义一个字典 d=[ 1 , 3,5 ] return a,b , cdef bar(...
2018-12-06 12:20:35
130
原创 request的初步了解
Requests: 让 HTTP 服务人类虽然Python的标准库中 urllib 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 “HTTP for Humans”,说明使用更简洁方便。Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用:)Requests 继承了urllib的所有特性。Req...
2018-10-28 19:54:29
131
原创 python基础知识整理6——django项目创建
创建项目 在django中,项目的组织结构为一个项目包含多个应用,一个应用对应一个业务模块。 创建项目的名称为test1,完成"图书-英雄"信息的维护,创建应用名称为booktest。 在当前用户的某个目录下创建项目,这样不会发生权限问题。此处在/home/python/pytest/目录下创建项目cd /home/python/ mkdir pytest cd p...
2018-10-28 19:44:15
158
原创 python基础知识整理5——类方法、静态方法和继承相关问题
类方法和静态方法method- 通过实例调用- 可以引用类内部的任何属性和方法classmethod- 无需实例化- 可以调用类属性和类方法- 无法取到普通的成员属性和方法staticmethod- 无需实例化- 无法渠道类内部的任何属性和方法,完全独立的一个方法继承相关问题什么是多态class Animal: def run(self): ...
2018-10-26 21:57:28
335
原创 python基础知识整理4——函数闭包
函数闭包Function Clouse:引用了自由变量的函数既是一个闭包.这个被引用的自由变量和这个函数一同存在,即便它已经离开了创造它的环境也一样.比如下面的函数的返回值def foo(): I = [] def bar(i): I.append(i) return barf1 = foo()f2 = foo()#实验下列语句执行结果f1(1)f1(2)f2(...
2018-10-26 21:44:07
119
转载 详解CSS的相对定位和绝对定位
详解CSS的相对定位和绝对定位CSS的相对定位和绝对定位通常情况下,我们元素的position属性的值默认为static 就是没有定位,元素出现在正常的文档流中,,这个时候你给这个元素设置的left,right,bottom,top这些偏移属性都是没有效果的,不会生效,比如你设置一个距离左边距偏移100px的声明:left:100px 那么这条声明不会起到任何效果。还有z-index属性在这...
2018-10-24 22:15:11
120
原创 python基础知识整理——装饰器
最简装饰器def deco(func): def wrap(*args, **kwargs): return func(*args, **kwargs) return wrap@decodef foo(a, b): return a ** b原理对比被装饰前后的 foo.__name__ 和 foo.__doc__from functool...
2018-10-24 22:09:22
152
原创 python基础知识整理2
可迭代对象可⽤于迭代操作(for 循环)的对象。(拥有 __iter__ ⽅法的对象)注意: __iter__ ⽅法的返回值是迭代器对象迭代器任何由实现了 __iter__ ⽅法的类创建的对象都是可迭代对象。任何由实现了 __iter__ 和 __next__ ⽅法的类创建的对象都是迭代器对象。迭代器是懒加载的(延迟加载的)使⽤for对迭代器进⾏迭代时,每次迭代,都将执⾏迭代器...
2018-10-23 20:37:59
151
原创 python基础知识整理1
变量:存储对象保存在内存中当我们查看变量的类型时,其实确切地说查看的是对象的类型。变量保存的是对象的引⽤ students = ['⼩明'] print(id(students)) students.append('⼩花') print(id(students))想⼀想:上述代码中两次输出结果⼀样吗?每创建⼀个变量,都开辟⼀个新的空间,将值的地址赋值...
2018-10-23 20:27:52
119
转载 css选择器的分类
常用的选择器有如下几种:1、标签选择器标签选择器,此种选择器影响范围大,建议尽量应用在层级选择器中。 举例:*{margin:0;padding:0}div{color:red} <div>....</div> <!-- 对应以上两条样式 --><div class="box">....</div> <!..
2018-10-23 20:15:39
188
原创 初步了解css
初步了解cssCSS是 Cascading Style Sheets 的首字母缩写,意思是层叠样式表。有了CSS,html中大部分表现样式的标签就废弃不用了,html只负责文档的结构和内容,表现形式完全交给CSS,html文档变得更加简洁。css基本语法css的定义方法是:选择器 { 属性:值; 属性:值; 属性:值;}选择器是将样式和页面元素关联起来的名称,属性是希望设置的样式属性每...
2018-10-23 20:12:22
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人