- 博客(101)
- 资源 (22)
- 收藏
- 关注
RSS订阅原创 爬虫入门到精通_实战篇12(使用Redis+Flask维护动态Cookies池)
首先，需要有一个账号队列，把一些账号密码存到数据库里，生成器即程序从队列里面拿出账号密码，自动地进行登录，并获取登录的Cookies，然后放到Cookies队列里。定时检测器从Cookies队列里定期地随机选出一些Cookies，并用这些Cookies请求网页，如果请求成功就放回队列，否则从队列里剔除，这样就能做到实时更新，保证Cookies队列里的Cookies都是可用的。拿出db里的账号，去微博里验证，验证后的cookies存入db.微博初始化时，一些验证码的操作Yundama.
2024-03-14 18:10:27
878
1原创 爬虫入门到精通_框架篇17(Scrapy命令行详解)_可用的工具命令:startproject，genspider，crawl，check，list，edit...
可用的工具命令:startproject，genspider，crawl，check，list，edit...
2024-03-11 19:06:58
786
原创 爬虫入门到精通_框架篇16(Scrapy框架基本使用)_名人名言的抓取
抓取网站：http://quotes.toscrape.com/主要显示了一些名人名言，以及作者、标签等等信息：点击next，page变为2：创建一个spider(名为quotes)：使用pycharm来打开已经在本地生成的项目：scrapy.cfg:配置文件items.py:保存数据的数据结构middlewares.py:爬取过程中定义的一些中间件，可以用来处理Request，Response以及Exceptions等操作，也可以用来修改Request, Response等相关的配
2024-03-10 23:13:38
1394
原创 爬虫入门到精通_框架篇13(PySpider框架基本使用及抓取TripAdvisor实战)_PySpider下载安装，项目实战
主要是async是python3.7的保留字，pyspider库中的有些文件与之重复而出现报错，就三个文件，这三个文件的找法可以参照《windows客户端pip安装pyspider完全指南（SyntaxError:invalid syntax、async语法报错、非引用替换关键字、全局查找针对性替换、Pycharm）》，async的具体位置在pycharm中会有红色标注，替换的词可以任意选择，我就在后面加了一个下划线即“async_”；原因：wsgidav版本过高，解决：版本太高，错误较多。
2024-03-08 19:06:31
1572
原创 爬虫入门到精通_框架篇15(Scrapy框架安装)
Scrapy的安装有多种方式，它支持Python2.7版本及以上或Python3.3版本及以上。下面说明Python3环境下的安装。Scrapy依赖的库比较多，至少需要依赖库有Twisted14.0,lxml 3.4,pyOpenSSL 0.14。而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好，尤其是Windows。
2024-03-07 18:29:18
1021
原创 爬虫入门到精通_实战篇11(使用代理处理反爬抓取微信文章)_PyQuery使用
搜狗-微信这个网址来爬取微信的文章：ps：登录后才能查看第10页之后的内容：量翻页触发了网站的反爬虫措施，导致ip被封，需要进行解锁。然而从doc中可以看到，请求失败的那页（状态码应该非200）被隐藏，只留下了状态码为200的这个验证页面。但是实际上，最后的那次请求返回状态码是302。
2024-03-05 20:00:25
690
原创 爬虫入门到精通_实战篇10(使用Redis+Flask维护动态代理池)
examples目录是示例proxypool：程序的源代码run:程序入口setup：安装代理池，代理池安装到python包动态获取方式和使用挺好玩的。
2024-03-04 20:54:01
460
原创 爬虫入门到精通_实战篇7(Requests+正则表达式爬取猫眼电影)_ 抓取单页内容，正则表达式分析，保存至文件，开启循环及多线程
抓取单页内容，正则表达式分析，保存至文件，开启循环及多线程
2024-03-02 13:03:54
482
原创 爬虫入门到精通_基础篇6(Selenium库_基本用法，访问页面，查找元素，交互操作，执行JavaScript，获取元素信息，Frame，等待，前进后退， Cookies，选项卡管理，异常处理)
基本用法，访问页面，查找元素，交互操作，执行JavaScript，获取元素信息，Frame，等待，前进后退， Cookies，选项卡管理，异常处理
2024-03-02 12:25:50
765
原创 爬虫入门到精通_基础篇5(PyQuery库_PyQuery说明，初始化，基本CSS选择器，查找元素，遍历，获取信息，DOM操作)
PyQuery说明，初始化，基本CSS选择器，查找元素，遍历，获取信息，DOM操作
2024-03-02 12:25:23
365
原创 爬虫入门到精通_基础篇4(BeautifulSoup库_解析库,基本使用,标签选择器,标准选择器,CSS选择器)
BeautifulSoup库_解析库,基本使用,标签选择器,标准选择器,CSS选择器
2024-01-31 18:41:17
704
原创 爬虫入门到精通_基础篇3(正则表达式基础_常用的匹配规则,re.match,re.search,re.findall,re.sub,re.compile)
正则表达式基础_常用的匹配规则,re.match,re.search,re.findall,re.sub,re.compile
2024-01-31 18:35:27
1109
原创 爬虫入门到精通_基础篇2(Requests库_get请求,POST请求,文件上传,获取cookie,会话维持,证书验证, 代理设置,超时设置,认证设置,异常处理)
Requests库_get请求,POST请求,文件上传,获取cookie,会话维持,证书验证, 代理设置,超时设置,认证设置,异常处理
2024-01-25 20:27:51
1185
原创 01_环境配置(Python3+Pip环境配置，MongoDB环境配置，Redis环境配置，MySQL的安装，Python多版本共存配置,Python爬虫常用库的安装)
环境配置(Python3+Pip环境配置，MongoDB环境配置，Redis环境配置，MySQL的安装，Python多版本共存配置,Python爬虫常用库的安装)
2024-01-22 20:19:30
344
原创 linux高并发web服务器开发(web服务器)19_strftime，libevent实现httpserver，线程池原理，结构体，使用，干活的线程的回调函数，管理者线程回调函数
strftime，libevent实现httpserver，线程池原理，结构体，使用，干活的线程的回调函数，管理者线程回调函数
2023-07-23 23:01:41
131
原创 linux高并发web服务器开发(web服务器)18_函数解析http请求， 正则表达式，sscanf使用，http中数据特殊字符编码解码
函数解析http请求， 正则表达式，sscanf使用，http中数据特殊字符编码解码
2023-07-21 22:30:09
426
原创 linux高并发web服务器开发(web服务器)17_html介绍，标题和段落，列表， 图片，超链接，table标签,http协议请求，响应消息，web服务器模型
HTML简介HTML，Hyper Texture Markup Language，超文本标记语言。在计算机中以.html、.htm作为扩展名.可以被浏览器访问, 就是经常见到的网页.HTML特点语法非常简洁、比较松散，以相应的英语单词关键字进行组合html标签不区分大小写大多数标签是成对出现的, 有开始, 有结束.不成对出现的称之为短标签标签中的属性和属性值属性=“属性值” 属性值建议加引号, (双, 单引号, 不加都可以)html组成部分。
2023-07-15 12:01:26
114
原创 linux高并发网络编程开发(广播-组播-本地套接字)14_tcp udp使用场景，广播通信流程，组播通信流程，本地套接字通信流程，epoll反应堆模型
tcp udp使用场景，广播通信流程，组播通信流程，本地套接字通信流程，epoll反应堆模型
2023-06-26 19:58:49
312
原创 linux高并发网络编程开发(libevent)15_libevent的安装,event_base,event事件的创建,消息循环,使用event读写管道，bufferevent，链接监听器
libevent的安装,event_base,event事件的创建,消息循环,使用event读写管道，bufferevent，链接监听器
2023-06-14 21:19:39
209
原创 linux高并发网络编程开发(epoll-udp)13_gdb定位段错误,epoll相关的函数,epoll水平触发模式,边沿触发模式,边沿非阻塞模式,文件描述符突破1024,udp通信
gdb定位段错误,epoll相关的函数,epoll水平触发模式,边沿触发模式,边沿非阻塞模式,文件描述符突破1024,udp通信
2023-06-08 20:29:44
210
原创 linux高并发网络编程开发(tcp状态转换-select-poll)12_send/recv，tcp状态转换，2msl等待时长，半关闭，netstat， 端口复用，IO多路转接select,poll
send/recv，tcp状态转换，2msl等待时长，半关闭，netstat， 端口复用，IO多路转接select,poll
2023-06-04 18:46:49
65
原创 linux高并发网络编程开发(tcp三次握手-并发)11_socket函数封装，tcp三次握手，tcp的数据传输过程，四次挥手，滑动窗口，tcp多进程并发服务器，多线程并发服务器实现
socket函数封装，tcp三次握手，tcp的数据传输过程，四次挥手，滑动窗口，tcp多进程并发服务器，多线程并发服务器实现
2023-05-30 20:01:32
67
原创 linux高并发网络编程开发(网络编程基础-socket)10_网络开发两种设计模式,网络模型分层,以太网帧协议,IP,UDP,TCP协议,udp和tcp讲解,soc套接字内存模型,大端和小端存储
网络开发两种设计模式,网络模型分层,以太网帧协议,IP协议,UDP协议,TCP协议,udp和tcp讲解,soc套接字内存模型,大端和小端存储
2023-05-29 17:14:16
252
原创 linux系统(线程同步)09_线程同步，互斥量，死锁，读写锁，条件变量介绍和生产者和消费者模型及实现，信号量，信号量的生产者和消费者模型及实现，文件锁单开进程，哲学家就餐模型分析
线程同步，互斥量，死锁，读写锁，条件变量介绍和生产者和消费者模型及实现，信号量，信号量的生产者和消费者模型及实现，文件锁单开进程，哲学家就餐模型分析
2023-05-25 00:26:01
50
原创 linux系统(守护进程-线程)08_守护进程,线程，线程创建，线程退出，线程回收，杀死线程，线程分离，线程属性分离
守护进程,线程，线程创建，线程退出，线程回收，杀死线程，线程分离，线程属性分离
2023-05-16 23:42:32
294
原创 linux系统(信号)07_信号的概念，阻塞信号集_未决信号集_信号的产生，raise和abort，alarm发送信号，setitime使用，信号集的函数，sigaction捕捉setitimer产生
信号的概念，阻塞信号集_未决信号集_信号的产生，raise和abort，alarm发送信号，setitime使用，信号集的函数，sigaction捕捉setitimer产生
2023-05-11 20:48:24
188
原创 6. N 字形变换
之后，你的输出需要从左往右逐行读取，产生出一个新的字符串，比如："PAHNAPLSIIGYIR"。将一个给定字符串 s 根据给定的行数 numRows ，以从上往下、从左到右进行 Z 字形排列。输入：s = "PAYPALISHIRING", numRows = 3。输入：s = "PAYPALISHIRING", numRows = 4。输入：s = "A", numRows = 1。输出："PAHNAPLSIIGYIR"输出："PINALSIGYAHRPI"示例模板：通第一种方法类似。
2023-05-11 19:57:27
442
原创 5.最长回文子串——Manacher(马拉车)算法
(2)若d[r-i+l] > r-i+1(对称点回文半径还在盒外)，则令d[i]=r-i，从r往后暴力枚举。3.求出d[i]后，如果i+d[i]-1>r,则更新盒子l=i-d[i]+1,r=i+d[i]-1。(1)若d[r-i+l]
2023-05-11 19:54:44
358
原创 linux系统(进程间通信)06_IPC概念,pipe管道，fifo通信，mmap 共享映射区
IPC概念,pipe管道，fifo通信，mmap 共享映射区
2023-05-09 19:27:00
789
原创 linux系统(进程控制)05_进程，进程状态的转化，进程控制,fork函数，父子进程，exec函数族，孤儿进程与僵尸进程，wait和waitpid函数，回收进程
进程，进程状态的转化，进程控制,fork函数，父子进程，exec函数族，孤儿进程与僵尸进程，wait和waitpid函数，回收进程
2023-05-06 20:44:17
63
原创 linux(stat-readdir-dup2)04-虚拟地址空间，stat函数，文件，目录，errno说明，dup2和dup
虚拟地址空间，stat函数，文件，目录，errno说明，dup2和dup
2023-05-04 19:39:55
639
原创 jacoco基础
覆盖率是用来衡量测试代码对功能代码的测试情况，通过统计测试代码中对功能代码中行、分支、类等模拟场景数量，来量化说明测试的充分度。代码覆盖率 = 代码的覆盖程度，是一种度量方式。覆盖率简单说：跑了一个测试用例，项目代码中哪些模块、文件、类、方法、行执行了。其中行覆盖率是最细粒度，其他覆盖率都可从行覆盖情况计算出来。行覆盖当至少一个指令被指定源码行执行时，该源码行被认为已执行。类覆盖当一个类至少有一个方法已执行，则该类被认为已执行，包括构造函数和静态初始化方法。方法覆盖。
2023-04-28 19:30:48
2170
原创 PowerMock
7.PowerMock笔记-ArgumentsMatcher。9.PowerMock笔记-spy和private。4.PowerMock笔记-final修饰类。8.PowerMock笔记-Answer接口。1.PowerMock笔记-三种方式对比。5.PowerMock笔记-Verify。2.PowerMock笔记-局部变量。3.PowerMock笔记-静态方法。6.PowerMock笔记-构造函数。
2023-04-28 19:29:42
52
原创 linux(makefile-gdb-IO)03_makefile文件，gdb相关调试命令，pcd和文件描述符，虚拟地址空间，Linux系统IO函数的使用，Linux系统IO函数的使用
1.熟练使用规则编写简单的makefile文件2.熟练使用makefile中的变量3.熟练使用makefile中的函数4.熟练掌握gdb相关调试命令的使用5.了解概念：pcd和文件描述符，虚拟地址空间6.熟练掌握Linux系统IO函数的使用openreadwritelseek7.了解阻塞和非阻塞的概念。
2023-04-28 19:25:11
128
原创 linux(vim-gcc-library)02-vi编译器,gcc编译，制作静态库和共享库(32为操作系统的内容)
1.掌握vim命令模式下相关命令的使用2.掌握从命令模式切换到编辑模式的相关命令3.掌握vim末行模式下相关命令的使用4.能够说出gcc的工作流程和掌握常见参数的使用5.熟练掌握Linux下的静态库的制作和使用6.熟练掌握Linux下的共享库的制作和使用。
2023-04-26 21:46:38
47
python正则表达式.zip
2020-11-06
函数式编程和高阶函数.zip
2020-11-01
IP抓捕.zip
2019-05-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人