- 博客(37)
- 收藏
- 关注
RSS订阅原创 scrapy-redis分布式爬虫
准备python与pycharm安装python与pycharm安装借用python项目scrapyd与gerapy试用项目在pycharm的控制台安装scrapy_redis包>pip install scrapy_redisredisredis安装mysqlmysql安装开启服务开启redis、mysql服务，也可以开启scrapyd与gerapy服务。安装过程中都有描述。scrapy_redis包下载后在…\anaconda3\Lib\site-packages\s
2021-10-23 13:44:27
222
原创 python与pycharm安装
anaconda安装自带python版本并对外部模块有兼容。anaconda下载地址PyCharm安装PyCharm下载地址
2021-10-23 12:55:32
117
原创 go语言方向必要知识汇总
go语言方向目标：1.区块链，分布式账本，数据去中心化，公开透明，人人可以参与数据库记录2.数据处理，处理大并发的服务器端，游戏中多有应用3.分布式、云计算有静态语言的安全，又有动态语言的效率，即C+python有c底层，引入包，垃圾回收，天然并发，有管道channel通讯机制，函数可以返回多个值。下载go sdk，配置环境变量下载eclipes。语法无分号，引用包必须使用转义\t\n 换行\r 回车变量声明变量名 : = 值var 变量名 类型 = 值在声明赋值时可以
2021-10-21 16:53:02
489
原创 算法题记录
算法题记录算法题反转链表public ListNode ReverseList(ListNode head) { if(head==null || head.next==null){ return head; } ListNode pre=null;ListNode next=null; for(;head!=null;){ next=head.next; head.next=pre; pre=head;
2021-09-21 17:36:57
57
原创 网络协议笔试面试题
网络协议面试题OSI七层网络模型HTTPTCP与UDPIP**ARP**、ICMP、IGMPOSI七层网络模型应用层（Application）：FTP、HTTP、SNMP、DNS应用程序、确定资源足够和通信对象表示层数据编码及二进制转化、压解、密解会话层（session）：NFS、RPC网络会话的建立、维护、控制，分为单工、半双工、全双工的通信模式传输层：TCP、UDP、SPX核心层，分割、组合数据成段。三段握手、面向连接、流量控制。网络层：IP、RIP、OSPF地址转化成物理，路由器
2021-07-21 10:45:03
383
原创 尝试WebSocket握手验证反爬虫
尝试WebSocket握手验证反爬虫参考爬取参考记一次WebSocket握手验证反爬虫爬取爬取网址：https://live.611.com/zq根据审查元素，XHRWS发现data关联，取data值。url='https://live.611.com/Live/GetToken'res=requests.get(url).textdict=json.loads(res)#str-->dictdata=dict['Data']print(data)在使用之前先安装非异
2021-07-17 17:17:13
410
2
原创 抓取顶点网小说
抓取顶点网小说来源抓取来源顶点网抓取mport requestsimport resource = requests.get('https://www.e1w.net/read/70048/index.html').textdemo = re.compile('<td class="L"><a href="(\d+\.html)">(.*?)</a></td>')lists = demo.findall(source)for a,b in l
2021-07-13 22:39:13
355
原创 python概念面试题记录
python概念面试题记录基础内存管理与垃圾回收机制爬虫scrapy数据库基础内存管理与垃圾回收机制提问方式：Python 的内存管理机制及调优手段？内存泄露是什么？如何避免？机制介绍：内存管理机制：引用计数、垃圾回收、内存池。引用计数： 引用计数是一种非常高效的内存管理手段， 当一个 Python 对象被引用时其引用计数增加 1， 当 其不再被一个变量引用时则计数减 1. 当引用计数等于 0 时对象被删除。垃圾回收 ：引用计数引用计数也是一种垃圾收集机制，而且也是一种最直观，最简单的
2021-07-12 18:07:53
95
原创 mysql做试题汇总
mysql做试题汇总来源试题查找最晚入职员工的所有信息查找入职员工时间排名倒数第三的员工所有信息来源试题取自牛客网在线编程–sql篇试题查找最晚入职员工的所有信息select * from employees where hire_date = (select max(hire_date) from employees)这里关键函数max()查找入职员工时间排名倒数第三的员工所有信息select * from employeeswhere hire_date=(select disti
2021-07-11 22:26:21
111
原创 猿人学12,13,15尝试
审查分析关键字符串判断编码形式base64字符串形式：字符串只包含A-Z，a-z，0-9，+，/，=字符字符串长为4的倍数=只出现在字符串最后，有0~2个等号解码后查看请求request的js代码看到实际的list内包含了page和m。得到url代码for i in range(1,4): m=base64.b64encode('yuanrenxue{}'.format(i).encode()).decode() url='http://match.yuanrenxue.
2021-07-09 17:19:25
145
原创 python面试题试水
python面试题试水主观题你认为怎么样完成工作才算认真负责？你怎样看待技术工作中的‘苦’？当你被人误解，甚至被人骂，你会怎样去解决这样的问题？你是怎样理解创新与微创新？如果你不是计算机相关专业出身，做工作时会觉得有哪些缺陷？如果是，用一句话来说明什么是计算机。如何学习技术知识点，有哪些好办法？客观题如下代码输出的是？如下的代码输出是?如下的代码输出是?python是一门怎样的语言？有哪些不足？这两个参数是什么意思：*args, **kwargs ?为什么要使用？请写出一段python代码实现删除一个lis
2021-07-02 18:05:49
256
原创 2021-07-01
25道题目MyISAM 与 InnoDB 区别统计字符串中某字符出现次数字符串转化大小写两种方法去空格正则匹配不是以 4 和 7 结尾的手机号python 引用计数机制int(“1.4”),int(1.4)输出结果PEP8 编码规范正则表达式匹配第一个 URL正则匹配中文乐观锁和悲观锁r、r+、rb、rb+文件打开模式区别Linux 命令重定向 > 和 >>正则表达式匹配网页内容python 传参数是传值还是传址两个列表的交集、差集、并集生成 0-100 的随机数lambda 匿名函数网络
2021-07-01 22:10:14
296
原创 2021-06-30
25道题目同源策略cookie 和 session 的区别多线程、多进程any()和 all()方法IOError、AttributeError、ImportError、IndentationError、 IndexError、KeyError、SyntaxError、NameError 分别代表copy 和 deepcopy 区别魔法方法sort 和 sorted 对列表排序list 排序使用 lambda 函数从小到大排序列表嵌套排序嵌套字典嵌套元组嵌套列表字典排序列表推导式、字典推导式、生成器根据字符
2021-06-30 21:46:00
140
原创 爬虫基础面试题试做
1.定义A=(“a”，“b”，“c”，“d”)，执行del A[2]后的结果为A.(“a”,“b”,“d”)B.(“a”,“b”,“c”)C.(“a”,“c”,“d”)D. 异常答案：D，考察删除del与元组的用法，元组不能直接删除部分2.string="{1},{0}";string= string.format(“Hello”,“Python”)，请问将string打印出来为（ ）A. Hello, PythonB. {1},{0}C. Python, HelloD. Hel
2021-06-29 21:09:25
224
原创 python爬虫面试知识部分总结
python爬虫面试知识部分总结数据库pthon模块编码多进程与多线程反爬虫应对爬取操作代理IP验证码selenium和PhantomJSHTTPS数据库数据库：MongDB、Mysql、MySQLServer、redisMongDB对比关系数据库Mysql弱一致性（最终一致）文档存储结构内置GridFS内置Sharding第三方支持丰富性能优越对比nosql redis存储为BSON格式不支持事务但客户端保证海量数据效率提升，可数据分析MySQL 数据库：开源免费的关系型数据
2021-06-27 21:34:22
252
原创 git版本时光穿梭试用
git版本时光穿梭试用参考基本步骤建立版本库添加修改的文件入库并执行查看修改文件库遇到问题参考参考基本步骤建立版本库创建文件目录：mkdir 目录名访问文件目录：cd 目录名初始化仓库：git init添加修改的文件入库并执行添加到缓存区：git add 文件名从缓存到版本分支：git commit -m ‘简要说明’查看查看现在位置：pwd查看历史记录：git log产看简要历史记录：git log --pretty=online产看历史命令：git reflog查看文件：
2021-06-24 18:23:17
56
原创 猿人学第三题访问逻辑-推心置腹的尝试
访问逻辑-推心置腹的尝试访问地址查看网页审查访问地址猿人学第三题查看网页审查发现图片上的审查号和网页审查的数据存在一一对应。应该是爬取该请求。因此从请求标头取出headers需要的值。然后根据url='http://match.yuanrenxue.com/api/match/3?page=1，使用requests访问。得到结果如下<script>var x="div@Expires@@captcha@while@length@@reverse@0xEDB88320@substr
2021-06-16 04:04:57
594
原创 面试题的查询
1 写出30个你常用的linux命令linux命令2 写出单例模式的含义，并使用代码实现一个单例模式该模式的主要目的是确保某一个类只有一个实例存在。Class a()Stric a =a()init(self):pass3 写出冒泡排序list=[1,2,3]For i in range(len(list)):For j in range(i+1,len(list)):a=list[i]If a>list[j]:List[i]=list[j]list[j]=a4 什么是
2021-06-07 23:09:49
195
2
原创 猿人学js混淆-源码乱码解法总结
猿人学js混淆-源码乱码解法总结网址解法心得网址js混淆-源码乱码网址解法我是在360浏览器下打开网址，进入审查元素。打开第2页发现请求网址为：http://match.yuanrenxue.com/api/match/1?page=2&m=be219a5c31df073442c2a2e5791a84d7%E4%B8%A81622881314可以拆解为url=‘http://match.yuanrenxue.com/api/match/1?page={}&m={}’.for
2021-06-04 14:01:52
700
原创 关于爬取猫眼电影的口碑评分和累计票房的尝试
关于爬取猫眼电影的口碑评分和累计票房的尝试文件目录woff文件下载代码测试结果总结文件目录woff文件下载图中的.woff请求双击就可以下载。代码import requestsimport refrom lxml import etreefrom fontTools.ttLib import TTFont,BytesIOfrom xml.etree import ElementTreeurl=‘https://maoyan.com/films/343034’headers={‘A
2021-06-04 02:13:38
944
原创 关于python的一些题目
关于python的一些题目1.如何在Python中管理内存？2.什么是python模块？Python中有哪些常用的内置模块？3 Python中的局部变量和全局变量是什么？4 什么是Python中的类型转换？5 什么是__init__?6 什么是lambda函数？7 Python中的self是什么？8 区分break，continue和pass？9 [:: - 1}表示什么？10 如何在Python中随机化列表中的元素？11 什么是python迭代器？12 python中的生成器是什么？13 什么是可迭代对象
2021-06-03 01:24:58
169
原创 JavaScript 逆向辅助模拟的理解
JavaScript 逆向辅助模拟的理解原文地址代码原文地址查看地方代码a=sync_playwright().start()#启动b=a.chromium.launch()#创建浏览器c=b.new_page()#创建新页面page.route(“js1.js”,lambda route: route.fulfill(path="./js2.js)#2替换1，1是虚拟路由的js地址page.goto(BASE_URL)#可传入一个变量和常量def get_token(offse
2021-06-02 04:32:43
470
原创 隐藏Selenium指纹特征
隐藏Selenium指纹特征代码代码from time import sleepfrom selenium.webdriver import Chrome#谷歌浏览器驱动from selenium.webdriver.chrome.options import Options#补充事件工具chrome_options = Options()#初始化事件chrome_options.add_argument(‘user-agent=Mozilla/5.0 (Macintosh; Intel
2021-06-02 03:51:06
2120
原创 Java类列表总结
核心jar：rt.jar类列表均是以个人见解总结，根据平时使用总结，总结不完全，还在补充中。。。Lang类包不需要借用包就可以使用的类类Object java.lang.Object;//所有类的初始类Object[]{}//一维数组单位，可以自身嵌套自身构成多维数组wait();//进程等待notify();//唤醒某个进程notifyAll();//唤醒所有进程getClass();//返回对象运行时类类Boolean java.lang.Boolean;//布尔类Enum
2020-08-09 16:24:42
694
原创 Tomcat从安装到配置使用
一、安装Tomcat进入http://www.apache.org/翻到最下面的字母列表，如下图：选择Tomcat，跳转到如图界面：选择左边菜单Download->Archive，进入文件列表，如下图：可以选择需要的Tomcat版本了，若要选择8版，就点击tomcat-8/，我要下载apache-tomcat-8.5.27.exe，进入如下图所示页面：点击就可以下载了。下载完后，然后点击下载文件安装，如图所示：点击next，I agree，不停点击next直到完成安装。二、
2020-08-09 10:38:41
101
原创 JDK从安装到配置使用
一、安装JDK进入https://www.oracle.com/index.html点击Products->Infrastructure->Software->Java，进入如下图示：点击Download Java，翻到最下面，如下图：点击Java Archive，看到所有版本的java se，如图所示：比如要下载jdk-1.80_162版本，选择Java SE 8 (8u202 and earlier)，即jdk-1.80_202及之前的版本，然后翻到如下图位置：上图
2020-08-08 17:57:34
453
原创 maven从安装到配置使用
一、安装maven进入https://www.apache.org/翻到最下面的字母列表，如下图：选择maven，点击左边菜单的download，如下图：点击All current release sources (plugins, shared libraries,…) available at https://downloads.apache.org/maven/，进入文件列表，如下图：可以选择需要的maven版本了，若要选择3版，就点击maven-3，我要下载 apache-mave
2020-08-07 15:34:57
114
原创 每日算法之最长回文子串
最长回文子串给定一个字符串s，找到s中最长的回文子串。回文子串：从左到右，从右到左都一样的字符串。示例：输入：s=“baa”，输出：“aa”输入：s=“baba”，输出：“bab”，“aba”BackTextString.javaimport java.io.IOException;import java.util.Scanner;public class BackTextString{private static String s;private static char[] c;pr
2020-07-28 17:01:04
65
原创 每日算法之两数之和
两数之和给定一个整数数组nums和一个目标值target，请在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。示例：nums={2,7,11,15},target=9,返回[0,1]Find.javapackage com.find;public class Find{private static int[] nums={2,7,11,15};private static int target=9;public static void main(String[] args){fo
2020-07-28 14:54:11
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人