- 博客(23)
- 收藏
- 关注
RSS订阅原创 爬虫-7.Scrapy框架初级
scrapy入门Scrapy工作流程：名称作用Scrapy engine(引擎)总指挥:负责数据和信号的在不同模块间的传递Scheduler(调度器)一个队列,存放引擎发过来的request请求Downloader(下载器)下载把引擎发过来的requests请求,并返回给引擎Spider(爬虫)处理引擎发来的response,提取数据,提取url,并交给引擎Item Pipline(管道)处理引擎传过来的数据,比如存储Downloader M
2021-08-06 10:35:17
4168
原创 爬虫-6.多线程
创建线程1、通过函数创建在theading.Thread()里面传递target参数，该参数为函数名。import threadingdef a(): for i in range(10): print("target1--%d"%i)def b(): for i in range(20): print("target2--%d"%i)if __name__ == '__main__': t1 = threading.Thread(t
2021-08-06 10:34:19
141
原创 爬虫-5.selenium
chromedriverchromedriver是一个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。下面的是谷歌浏览器的下载地址：Chrome：http://chromedriver.storage.googleapis.com/index.html找到自己谷歌浏览器对应的版本号：打开http://chromedriver.storage.googleapis.com/index.html这个网站找到自己谷歌浏览器对应的版本号（前三位符合就行，
2021-08-06 10:31:08
681
原创 爬虫-4.数据解析（BeabutifulSoup）
文章目录一：基本概念二：基础1、bs4的对象种类2、遍历文档树3、获取文本3、获取属性4、补充：二：使用基础使用：find_all 和 find（重点）一：基本概念Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库二：基础1、bs4的对象种类通过下面示例来解释：from bs4 import BeautifulSouphtml_doc = """<html><head><title>The Dormouse's s
2021-08-06 10:30:22
282
原创 爬虫-3.数据解析（xpath）
基本概念XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能节点在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对
2021-08-06 10:29:20
188
原创 爬虫-1.urllib库
urllib.requesturllib.request - 打开和读取 URL。urlopenfrom urllib import requesturl = 'https://www.baidu.com/'res = request.urlopen(url=url)print(res.read())"""b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href
2021-08-05 15:59:36
120
原创 数据分析-2.numpy库
NumPy介绍NumPy是一个功能强大的Python库，主要用于对多维数组执行计算。NumPy这个词来源于两个单词-- Numerical和Python。NumPy提供了大量的库函数和操作，可以帮助程序员轻松地进行数值计算。在数据分析和机器学习领域被广泛使用。他有以下几个特点：numpy内置了并行运算功能，当系统有多个核心时，做某种计算时，numpy会自动做并行计算。Numpy底层使用C语言编写，内部解除了GIL（全局解释器锁），其对数组的操作速度不受Python解释器的限制，效率远高于纯Pytho
2021-07-21 13:59:29
1639
原创 数据分析-1.数据分析介绍
数据分析介绍什么是数据分析：数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析的目的有多种，概括起来有三种：现状分析、原因分析、预测分析。现状分析简单来说就是告诉你过去发生了什么。原因分析简单来说就是告诉你某一现状为什么发生。预测分析简单来说就是预测未来会发生什么。数据分析步骤：数据分析主要有六个过程：需求明确：明确做数据分析的目标。为后面的分析过程做好铺垫。数据收集：通过爬虫、商务合作的方式，获取想要的数据。数据
2021-07-21 12:55:54
642
原创 python基础-12.面向对象(中)
一:特殊方法在类中可以定义一些特殊方法也称为魔术方法特殊方法都是形如 ___ xxx___()这种形式特殊方法不需要我们调用，特殊方法会在特定时候自动调用.init方法：二：封装出现封装的原因：我们需要一种方式来增强数据的安全性。1. 属性不能随意修改。2. 属性不能改为任意的值封装是面向对象的三大特性之一封装是指隐藏对象中一些不希望被外部所访问到的属性或方法我们也可以提供给一个getter()和setter()方法是外部可以访问到属性。getter() 获取
2021-03-20 19:52:19
108
原创 python基础-11.高级编程和面向对象(上)
高级编程1.可迭代对象我们已经知道可以对list、tuple、dict、set、str等类型的数据使用for…in…的循环语法从其中依次拿到数据进行使用，我们把这样的过程称为遍历，也叫迭代。把可以通过for…in…这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象（Iterable）。2.推导式推导式分为 列表推导式、字典推导式、集合推导式等。在这里我们主要说其中一种也是用的最多列表推导式列表推导式是Python构建列表（list）的一种快捷方式,可以使用简洁的代码就创建出一个列表简
2021-02-09 21:05:01
175
原创 python基础-10.函数(下)
1 .高阶函数接收函数作为参数，或者将函数作为返回值返回的函数就是高阶函数2.lambdal匿名函数语法：。lambda 参数：表达式filter()类的使用方法:filter里面需要传递参数，一个函数，一个序列（可迭代的）lambdal函数和filter混合使用3.闭包将函数作为返回值也是高阶函数我们也称为闭包闭包的好处。通过闭包可以创建一些只有当前函数能访问的变量。 可以将一些私有数据藏到闭包中行成闭包的条件。 函数嵌套。 将内部函数作为返回值返回。 内
2021-02-08 22:49:34
85
原创 python基础-9.函数(中)
1.函数的返回值返回值就是函数执行以后返回的结果通过return来指定函数的返回值return后面可以跟任意对象，返回值甚至可以是一个函数2.文档字符串help()是Python中内置函数，通过help()函数可以查询Python中函数的用法在定义函数时，可以在函数内部编写文档字符串，文档字符串就是对函数的说明3. 函数的作用域作用域指的是变量生效的区域在Python中一共有两种作用域。1.全局作用域：。全局作用域在程序执行时创建，在程序执行结束时销毁。所有函数以外的区域都
2021-02-04 15:08:53
378
原创 python基础-8.函数(上)
集合集合简介集合表现形式set 集合和列表非常相似不同点。集合只能存储不可变对象。集合中存储的对象是无序的。集合不能出现重复元素使用{}来创建集合，空集合用set()创建可以通过set()来将序列和字典转换成集合len() 使用len()来获取集合中元素的数量add()像集合中添加元素update()将一个集合中的元素添加到另一个集合当中pop()随机删除集合中的一个元素一般是删除最后一个元素remove() 删除集合中指定的
2021-02-02 19:26:27
141
原创 python基础-7.元祖-列表
元祖元组表现形式tuple元组是一个不可变序列(一般当我们希望数据不改变时，我们使用元组，其他情况下基本都用列表)元组不是空元组至少有一个 逗号(,) 当元组不是空元组时括号可以省略元组解包指将元组当中的每一个元素都赋值给一个变量字典...
2021-01-30 17:13:31
396
原创 python基础-6.列表
序列基本概念：序列是Python中最基本的一种数据结构。序列用于保存一组有序的数据，所有的数据在序列当中都有一个唯一的位置（索引）并且序列中的数据会按照添加的顺序来分配索引数据结构指计算机中数据存储的方式分类：可变序列（序列中的元素可以改变）：例如 列表（list）不可变序列（序列中的元素不能改变）：例如 字符串（str）元组（tuple）列表：列表的使用：列表的创建：通过[ ]来创建一个空列表切片语法: 列表[起始 : 结束 : 步长]起始位置和结束位置的索引可以不
2021-01-27 22:03:13
174
原创 python基础-5.条件控制语句
条件判断语句if语句。if语句会先对if后面的条件判断式进行求值判断，若为True则执行if后面的代码块，若为False则不执行代码块。语法：if条件表达式：代码块if-else语句。if-else语句会先对if后面的条件判断式进行求值判断，若为True则执行if后面的代码块，若为False则不执行代码块。语法：if条件表达式：代码块else：代码块if-elif-else语句。if-elif-else语句在执行时，会自上向下依次对条件表达式进行求值判断，——
2021-01-25 15:50:31
177
1
原创 python基础-4.运算符
1.运算符的概念运算符用于执行程序代码运算，会针对一个以上操作数项目来进行运算。例如：2+3，其操作数是2和3，而运算符则是“+”2.运算符的分类1.算术运算符加法运算符 表现形式 +减法运算符 表现形式 -乘法运算符 表现形式 *除法运算符 表现形式 /// 整除，只会保留计算后的整数位，总会返回一个整型% 取模，求两个数相除的余数** 幂运算，求一个值的几次幂2.赋值运算符赋值运算符的特殊写法 x = x + 3 其实是和 x += 3 是一样的+= （x+= 3
2021-01-22 19:33:43
128
原创 python基础-3.基本数据类型
基本数据类型数据类型指的就是变量的值的类型，也就是可以为变量赋哪些值1.整数和小数整数：所有整数 例如 : a = 1 b = 100 c =999 都是int类型小数常量 : 所有小数 例如 a = 1.2 b=6.66 用float类型表示2.布尔值和空值布尔: 只有2个值一个是True 一个是FalseNone常量：只有一个数值就是None 也就是空值3.标识符简单地理解，标识符就是一个名字，就好像我们每个人都有属于自己的名字，它的主要作用就是作为变量、函数、类、模块
2021-01-20 19:58:00
442
原创 通道（ps）
知识点1.进行通道抠图的时候，先选择明暗以及黑白灰关系对比最为明显的通道，一定复制通道，然后在复制通道上操作。2.在通道中进行图像调整——注意直接使用快捷键或者——菜单栏——图像——调整——色阶/曲线——3.要扣选出来的图像包含——亮部的区域——可以使用画笔——在拷贝图通道中涂抹——注意画笔的不透明度和流量4.在通道中使用画笔的笔触大小5.在通道中使用画笔的不透明度和流量6.在通道中进行选区的操作——默认选择亮部——如有需要——进行反选【ctrl+shift+I】使用通道抠图步骤1.通道面板
2021-01-19 23:11:32
5185
8
原创 python基础-2.python要点
python要点python语言概述python语言的基概念• Python 是一种极少数能兼具 简单 与 功能强大 的编程语言。你将惊异于发现你正在使用的这门编程语言是如此简单，它专注于如何解决问题，而非拘泥于语法与结构• 官方对 Python 的介绍如下：• Python 是一款易于学习且功能强大的编程语言。 它具有高效率的数据结构，能够简单又有效地实现面向对象编程。Python 简洁的语法与动态输入之特性，加之其解释性语言的本质，使得它成为一种在多种领域与绝大多数平台都能进行脚本编写与应用快
2021-01-17 17:33:47
193
原创 python基础-1.计算机要点
#计算机要点##计算机基本概述###1.1 计算机是什么？•计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机器• 特点 : 数值计算 逻辑计算 存储记忆功能• 总结 : 能够按照程序运行、自动、高速处理数据的现代化智能电子设备1.2 计算机的组成?1.2 计算机的组成?• 硬件:鼠标 键盘 显示器 CPU 硬盘… 看的见摸的着• 软件:PyCharm QQ 浏览器 英雄联盟… 看不见摸不着• 软件就是通过编程，完成的一个一系列按照特定顺序组织的计算机数据和特定
2021-01-15 18:41:17
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人