软通大学企业博客

北京软通动力教育科技有限公司

python3爬虫session处理用户名密码动态名称登录后抓取信息

一、 本文实现需求 1、 登录用户名与密码的名称是动态的,动态爬取 2、 登录页面还有一些其他特征信息,动态爬取 3、 登录后,爬取页面任意数据 二、 登录原理 1、 相关处理技术 a) 采用requests的session进行get/post操作 b) 采用bs4分...

2018-06-14 11:19:28

阅读数:1390

评论数:0

python日志公用文件设计-类似java的log4j

一、 实现目标 本文完成python环境下,类似java的log4j实现,有下面需求 1、 日志输出到控制台,同时可以输出到文件 2、 日志文件可以在任何目录 如果不指定目录,则自动在当前目录下 3、 文件以当天日期为名称,同一天日志自动追加 4、 日志输出要定位到:天-时-...

2018-05-29 11:24:31

阅读数:405

评论数:0

python解析excel文件多级标题嵌套行

一、 本文实现内容 用于解析excel2013数据文件的标题行,有下面需求 1、 标题行可能处在页面的任何位置 2、 标题行只能是字符串类型,最少有2个或以上字段 3、 标题行上边,或左边可能有任意多个空行 4、 标题行可能是多行,一个字段可能有N级子字段,可以是任意复杂的数据...

2018-05-25 16:32:17

阅读数:265

评论数:0

python的lambda与闭函数原理分析

一、 概述 本文分析python3的lambda与闭函数的实现原理,及多种用法示例 二、 lambda工作原理 1、 lambda定义 lambda 参数列表:1行代码表达式 表达式是一个函数的参数列表,可以有任意多个参数,参数可为任何类型 1行并且只能1行代码的表达式,不能多行...

2018-05-09 14:49:18

阅读数:167

评论数:0

python类加载分析-类属性-实例方法-类方法-静态方法对比

一、 概述 本文对python3的类加载过程进行分析,python最核心原理,有下面内容 1、 类对象 2、 实例对象 3、 self变量名称问题 4、 类属性、实例变量、局部变量 5、 类方法 6、 实例方法 7、 类方法与实例方法相互调用 8、 静态方法 ...

2018-05-09 08:57:56

阅读数:216

评论数:0

python处理json技术总结及与其他语言对比

一、 概述 json原本为javascript的标准数据类型,javascript object notation,这个数据格式广泛应用各类管理软件(java,php,c#)、大数据、人工智能中。 本文简要描述json用到的utf-8/unicode字符集,及python处理json相关技术...

2018-05-04 14:45:50

阅读数:80

评论数:0

python装饰器的一些高级用法

一、 概述 本文简单介绍装饰设计模式的原理,及python3装饰器的下面几个实现 1. python函数装饰器 2. 带参数装饰 3. 一个方法的多次装饰 4. 类装饰器 二、 装饰器原理 python装饰器,就是设计模式中的装饰设计模式,属于结构类设计模式,具体内容是 ...

2018-05-03 14:30:34

阅读数:106

评论数:0

python语言的几个显著特点

pyton语言的几个显著特点 概述      本文分析python下面几个显蓍特点    1. python基本特点及运行问题 2. python开发工具包 3. 代码块问题 4. 方法重载问题 ...

2018-04-29 00:16:34

阅读数:93

评论数:0

python3正则表达式的几个高级用法

python3正则表达式的几个高级用法 一、 概述 本文举例说明python3正则表达式的一些高级级法,主要是各类分组,可应用于 1、复杂网页文件中的有用数据 例如,采用爬虫技术取得网页后,对网页内任何数据进行提取分析 ...

2018-04-28 22:56:58

阅读数:1867

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭