- 博客(20)
- 收藏
- 关注
RSS订阅原创 多线程模板
from queue import Queuefrom threading import Threadimport timeclass pool(object): def __init__(self,n):#线程的数量 self.q=Queue()#放任务的队列 for i in range(n):#创建线程 Thread(target=self.worker,daemon=True).start()#开启线程 ..
2022-04-09 16:59:56
201
原创 项目滑动模块代码
import time,randomfrom PIL import Imagefrom selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.common.by import Byfrom selenium.webd.
2022-04-09 09:26:25
1080
原创 使用scrapy框架写的爬虫项目代码
源代码文件：import scrapyimport jsonfrom..items import Db250Itemclass W666Spider(scrapy.Spider): name = 'w666' allowed_domains = ['movie.douban.com'] start_urls = ['http://movie.douban.com/top250'] page_num=0 def parse(self, response)
2022-03-26 11:53:55
1914
原创 js渗透第一章baidu翻译
Chrome调试面板常用面板 定位小箭头按钮(左边第一个)： 选中Elements面板，并启动该按钮，可以在页面中定位相应元素的源代码位置，或者选择源代码位置可定位到页面相应的元素。 手机-PC视图切换按钮(左边第二个)： 启动该按钮，网页可以在pc网址网页和手机网址网页之间进行转换。由于在爬虫过程中，爬取手机网址网页相对来说更容易，所以可以通过该按钮将网页切换至移动网页实现更快速爬取操作。 Elements面板(元素面板) 该面板显示了渲染完毕后的全部HTML源.
2022-03-24 15:16:35
179
原创 实战项目代码
import execjs,requests,reheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36',}session = requests.Session()session.headers =headersdef get_token_gtk()..
2022-03-24 10:27:49
109
原创 逆向加密解码项目
from Crypto.Cipher import AESfrom base64 import b64decodeimport requestsimport jsonurl='https://music.163.com/weapi/comment/resource/comments/get?csrf_token='#请求方式是postdata={ "csrf_token": "", "cursor": "-1", "offset": "0", "orderT..
2022-03-23 15:45:10
1209
原创 实战项目代码
import requestsimport osimport parsel#创建防爬措施headers ={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}url = 'https://www.jdlingyu.com/tuji/page/%d'for page in rang..
2022-03-23 15:42:17
76
原创 异步实战项目
"""同步操作：访问getCatalog,拿到所有的章节名称和内容异步操作：访问getChapterContent 下载所有的文章内容"""# url =' https://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4315646974"}'#所有章节的名称,id#url1 =小说章节里面的内容import requestsimport asyncioimport aiohttpimport jsonimport aio..
2022-03-23 15:40:22
563
原创 异步http请求aiohttp模块演示
#reuqests.get() 同步的代码 ->异步操作aiohttp#pip install aiohttpimport asyncioimport aiohttpurls = {'网址'}async def aiodownload(url): name = url.rsplit("/",1)[1]#aiohttp.ClientSession() == reuqests async with aiohttp.ClientSession()as session: #r..
2022-03-23 13:54:23
3705
原创 加密解密概念，作用以及创建演示
加密解密概念：是一个信息干扰的过程，保证固定的人才可以看到你的信息把重要的数据变为乱码（加密）传送，到达目的地后再用相同或不用的手段还原（解码）作用：保密性：信息在传输时不被泄露完整性：信息在传输时不被篡改有效性：信息的使用者是合法的常用的加密当时有三种分别是：对称加密：指数据加密和解密使用相同的密钥 数据的机密性： DES,AES非对称加密：也叫公钥加密，指数据加密和解密使用不同的密钥 密钥对儿 身份验证 DSA,RSA单向加密：指只能加密数据，而不能解密数据...
2022-03-23 13:10:56
1655
原创 多线程与多进程，+池，以及协程的概念
我们在做爬虫的时候，都会遇到需要爬的数据量特别巨大的，如果按照以往的一 一下载的话，好费的时间很长，效率极低，所以我们可以利用线程加协程的方法大大提高爬虫的效率。进程是资源单位，每一个进程里至少有一条线程线程是执行单位，起到的每一个程序都会默认有一个主线程，演示如下：from threading import Thread #导入多线程模块def func (): for i in range(1000): print('func',i)if __n...
2022-03-22 19:57:12
118
原创 scrapy的管道持久化存储流程以及操作
首先是数据分析，分析好了准备存储。在item中定义相关的属性将解析的数据封装储存到item类型对象这个报错不用管，这样的输入是可以用的然后将item类型对象提交给管道进行持久化存储操作。这个是专门用来处理item类型对象的，从爬虫文件提交的item类型对象，会在管道类的process_item接收后，进行持久化存储的操作，该方法每当接收一次就会被调用一次。在配置文件中开启管道，激活一下item_piprlines,后面的300优先数字，数字越小优先级.
2022-03-20 20:18:32
887
原创 项目操作代码
import requestsimport osimport parselurl = 'https://www.jdlingyu.com/tuji' #网址#创建防爬措施headers ={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}#请求res = requests.get(.
2022-03-14 10:44:27
1143
原创 scrapy框架知识重点
下载中间件 下载中间件是一个用来hooks进Scrapy的request/response处理过程的框架。 它是一个轻量级的底层系统，用来全局修改scrapy的request和response。 scrapy框架中的下载中间件，是实现了特殊方法的类。 内置中间件 scrapy系统自带的中间件被放在DOWNLOADER_MIDDLEWARES_BASE设置中 可以通过命令scrapy settings --get=DOWNLOADER_MIDDLEWARES_BA.
2022-03-11 13:43:27
1257
原创 mysql知识点
MySQL（三）--约束 知识点一：约束 default 默认约束 not null 非空约束 unique key 唯一约束 primary key 主键约束 auto_increment 自增长约束 foreign key 外键约束 知识点二：表关系 1、一对一 2、一对多 3、多对多 知识点一：约束 约束可以理解为限制，生而为人 就会有道德约束和法律约束 等等约束 也就是限制 同样我们数据得有约束才能让其更加高效更加完美 default 默认
2022-03-09 14:03:28
68
原创 mysql的结构以及用法
课件：MySQL（一） 简介知识点 一：基本结构 知识点二：MySQL账户操作 知识点三：MySQL库操作 知识点四：MySQL表操作 知识点五：MySQL表数据操作 总结 简介 列举常见的关系型数据库和非关系型都有那些？ 知识点 一：基本结构 知识点二：MySQL账户操作 包括 Facebook、Twitter、Booking.com 和 Verizon 在内的许多世界上 最大和发展最快的组织都依靠 MySQL 来节省时间和金钱来支持他们的高容量网
2022-03-08 13:22:24
85
原创 爬虫的概念以及原理
爬虫定义：网络爬虫是伪装成客户端预服务器进行数据交互的程序作用：数据采集，搜索引擎，模拟操作爬虫开发的重难点：数据的获取：图灵测试，采集的速度：并发，分布式爬虫分为：通用爬虫，聚焦式爬虫，增量爬虫，深度网络爬虫。HTTP是一个基于TC/IP通信协议来传递数据(HTML,文件，图片文件，查询结果)ps：使用TCP通信协议的重要的原因是基于其 面向连接特点：osi 模型，7层应用层 http 应用层开发传输层 tcp udp网络层 ip协议链路层一次http请求的基本流程是，...
2022-03-03 20:43:50
1580
原创 python知识点3
函数的作用：函数就是将一段具有独立功能的代码块，整合到一个整体并命名，在需要的位置调用这个名称即可完成对应的需求函数在开发过程中，可以更高效的实现代码重用定义函数：def 函数名（）：代码1代码2调用函数：函数名（参数）注意：不同的需求，参数可有可无， 在python中，函数必须先定义后使用，先使用后定义会报错如果没有调用函数，函数里面的代码不会执行函数执行流程：当调用函数的时候，解释器回到定义函数的地方去执行下方缩进的代码，回到调用函数的地方继续向下执行，定义函数的时候，函
2022-03-03 11:29:23
373
原创 python知识点2
字符串是python中常用的数据类型，我们一般使用引号来创建字符串，创建字符串很简单，只要为变量分配一个值即可。例如：a =‘hello world’（单引号，双引号，三引号）字符串：三引号形式的字符串支持换行下标又叫索引，就是编号，比如火车座位号，座位号的作用：按照编号快速找到对应的座位，同理，下标的作用：是通过下标快速找到对应的数据例如：str1 = ‘abcdefg’print（str1）数据在程序运行过程中存储在内存得到数据a字符，得到数据b字符一 一使用字符串某个特定的数据
2022-03-02 11:15:05
289
原创 python的知识点1
1.变量就是一个存储数据的时候当前数据所在的内存地址的名字而已。变量=值变量名自定义，要满足标识符命名规则标识符规则统一规范：由数字，字母，下划线组成，不能用数字，不能使用内置关键字，严格区分大小写大驼峰：每个单词首字母都大写 例如：MyName小驼峰：第二个（含）以后的单词首字母大写，例如：myName下划线：例如my_namebug：注意大小写，空格，先定义变量后使用Debug工具查看程序的执行细节和流程或者调解bug打断点，Debug调试2.数据类型 检测数据类
2022-03-01 17:49:29
535
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人