python
草原孤鹰
人生就像买西瓜,未知才精彩
展开
-
Python中的迭代器、生成器
迭代器要想知道什么是迭代器,先要知道什么是迭代1、迭代:迭代,顾名思义就是重复做一些事很多次,就像我们可以对list,tuple,dict,str等数据类型使用for…in的循环语法,从其中依次取出数据,这个过程叫做遍历,也叫迭代。2、可迭代迭代对象:简单来说,可以用for…in循环语句,从其中依次取出数据的对象,就是可迭代对象。例如,列表、元组、字典、字符串都是可迭代对象。整数、浮点数...原创 2020-02-16 11:28:17 · 208 阅读 · 0 评论 -
Python 爬虫 学习之路(四)使用google浏览器调试查找js加密解密
概述常用的三种处理js的方式:1、用selenium ,模拟浏览器2、用可以执行js代码的库 来执行关键的js代码3、找到js的执行规则,分析加密规则,用python的代码来模拟(最优解)查找js的执行规则1、爬虫爬数据时,提交post请求,其中一个参数由js加密生成如下:如何确定s是哪个js文件定义的,用如下方法:如上图所示,s =bb(cc.m(ss+tt))。很明显s...原创 2020-02-10 22:08:37 · 1265 阅读 · 0 评论 -
Python 爬虫 学习之路(三)scrapy框架
Scrapy初识概述scrapy是一个为了能够爬取网站数据,提取数据结构而编写的一个应用框架只需要写少量的代码就能实现快速抓取。scrapy使用了twisted 异步网络框架,可以加快我们的下载速度。工作流程,如下图所示windows 下安装scrapy直接使用命令:python -m pip install scrapy -i https://pypi.doub...原创 2020-02-10 11:46:53 · 290 阅读 · 0 评论 -
Python 爬虫 学习之路(二)数据提取
提取json格式数据引入json模块import json使用loads和dumps函数转换:json_data = '{"kw":"美女","fr":"search","ie":"utf-8","pn":"150"}'print(type(json_data))# str 类型的dict_data = json.loads(json_data)print(type(dict_da...原创 2020-02-08 14:54:38 · 230 阅读 · 0 评论 -
Python 爬虫 学习之路(一)Request模块
爬虫的基础知识概念:网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做分类:爬虫分为通用爬虫和聚焦爬虫通用爬虫 :通常指搜索引擎的爬虫聚焦爬虫 :针对特定网站的爬虫http和httpshttp超文本传输协议,是基于C/S架构进行通信的协议,运行在在...原创 2020-01-29 18:41:33 · 425 阅读 · 0 评论 -
Python学习之路(八)正则表达式
概念开始原创 2020-01-22 13:43:13 · 240 阅读 · 0 评论 -
Python学习之路(七)文件读写、异常处理、包和模块
异常处理文件读写包和模块原创 2020-01-22 13:41:10 · 257 阅读 · 0 评论 -
Python学习之路(六)类和对象
类和对象概述原创 2020-01-22 09:58:50 · 285 阅读 · 0 评论 -
Python学习之路(五)函数、闭包、匿名函数及装饰器
函数定义原创 2020-01-22 09:57:46 · 165 阅读 · 0 评论 -
Python学习之路(四)数据类型
再识变量1、变量就是存放数据的容器。我们定义一个变量其实就是把这个数据放在这个容器里面。2、python的数据类型整型 int浮点型 float布尔型 bool。True真,False假。注意是首字母大写字符串 str列表 list元组 tuple字典 dictionary集合 set使用type 判断数据类型:type(x)判断x变量的数据类型a = '123'b ...原创 2019-12-28 09:41:28 · 366 阅读 · 0 评论 -
Python学习之路(三)流程控制
if判断语句1、简单if语句score = int(input('请输入你的成绩:'))if score > 60 : print('考试及格')else : print('考试不及格')2、多个 elif 判断score = int(input('请输入你的成绩:'))if score > 90 : print('你是个好学生')elif s...原创 2019-12-21 12:13:55 · 187 阅读 · 0 评论 -
Python学习之路(二)变量及运算符
python 的变量1、定义直接使用 '= '定义,变量名 = 变量值,例如:user_name = ‘python’2、类型变量分为数字型和非数字型数字型:整型、浮点型、布尔型(bool)非数字型:字符串、列表、元组、字典、集合等3、命名变量标识符由 字母、数字、下划线组成不能以数字开头不能喝关键字重名4、 命名规则区分大大小写、 =(赋值号) 左右各...原创 2019-12-21 00:22:12 · 345 阅读 · 0 评论 -
Python学习之路(一)环境搭建
windows下安装 python-3.6.8官网下载对应的exe文件,然后点击安装。傻瓜式安装,这里这里不在赘述,有一个关键点就是安装的把添加环境变量的那一项勾选,如下:然后一直下一步。安装完成之后,在cmd命令输入python,然后弹出版本号啥的,说明我们的环境安装成功了,如下:编辑器pycharm的安装1、下载pychrm并且 安装直接下一步下一步,安装即可…2、...原创 2019-12-06 10:00:39 · 334 阅读 · 1 评论