scrapy-redis分布式爬虫 准备python与pycharm安装python与pycharm安装借用python项目scrapyd与gerapy试用项目在pycharm的控制台安装scrapy_redis包>pip install scrapy_redisredisredis安装mysqlmysql安装开启服务开启redis、mysql服务，也可以开启scrapyd与gerapy服务。安装过程中都有描述。scrapy_redis包下载后在…\anaconda3\Lib\site-packages\s
go语言方向必要知识汇总 go语言方向目标：1.区块链，分布式账本，数据去中心化，公开透明，人人可以参与数据库记录2.数据处理，处理大并发的服务器端，游戏中多有应用3.分布式、云计算有静态语言的安全，又有动态语言的效率，即C+python有c底层，引入包，垃圾回收，天然并发，有管道channel通讯机制，函数可以返回多个值。下载go sdk，配置环境变量下载eclipes。语法无分号，引用包必须使用转义\t 换行\r 回车变量声明变量名 : = 值var 变量名 类型 = 值在声明赋值时可以
算法题记录 算法题记录算法题反转链表public ListNode ReverseList(ListNode head) { if(head==null || head.next==null){ return head; } ListNode pre=null;ListNode next=null; for(;head!=null;){ next=head.next; head.next=pre; pre=head;
网络协议笔试面试题 网络协议面试题OSI七层网络模型HTTPTCP与UDPIP**ARP**、ICMP、IGMPOSI七层网络模型应用层（Application）：FTP、HTTP、SNMP、DNS应用程序、确定资源足够和通信对象表示层数据编码及二进制转化、压解、密解会话层（session）：NFS、RPC网络会话的建立、维护、控制，分为单工、半双工、全双工的通信模式传输层：TCP、UDP、SPX核心层，分割、组合数据成段。三段握手、面向连接、流量控制。网络层：IP、RIP、OSPF地址转化成物理，路由器
尝试WebSocket握手验证反爬虫 尝试WebSocket握手验证反爬虫参考爬取参考记一次WebSocket握手验证反爬虫爬取爬取网址：https://live.611.com/zq根据审查元素，XHRWS发现data关联，取data值。url='https://live.611.com/Live/GetToken'res=requests.get(url).textdict=json.loads(res)#str-->dictdata=dict['Data']print(data)在使用之前先安装非异
抓取顶点网小说 抓取顶点网小说来源抓取来源顶点网抓取mport requestsimport resource = requests.get('https://www.e1w.net/read/70048/index.html').textdemo = re.compile('<td class="L"><a href="(\d+\.html)">(.*?)</a></td>')lists = demo.findall(source)for a,b in l
python概念面试题记录 python概念面试题记录基础内存管理与垃圾回收机制爬虫scrapy数据库基础内存管理与垃圾回收机制提问方式：Python 的内存管理机制及调优手段？内存泄露是什么？如何避免？机制介绍：内存管理机制：引用计数、垃圾回收、内存池。引用计数： 引用计数是一种非常高效的内存管理手段， 当一个 Python 对象被引用时其引用计数增加 1， 当 其不再被一个变量引用时则计数减 1. 当引用计数等于 0 时对象被删除。垃圾回收 ：引用计数引用计数也是一种垃圾收集机制，而且也是一种最直观，最简单的
mysql做试题汇总 mysql做试题汇总来源试题查找最晚入职员工的所有信息查找入职员工时间排名倒数第三的员工所有信息来源试题取自牛客网在线编程–sql篇试题查找最晚入职员工的所有信息select * from employees where hire_date = (select max(hire_date) from employees)这里关键函数max()查找入职员工时间排名倒数第三的员工所有信息select * from employeeswhere hire_date=(select disti
猿人学12,13,15尝试 审查分析关键字符串判断编码形式base64字符串形式：字符串只包含A-Z，a-z，0-9，+，/，=字符字符串长为4的倍数=只出现在字符串最后，有0~2个等号解码后查看请求request的js代码看到实际的list内包含了page和m。得到url代码for i in range(1,4): m=base64.b64encode('yuanrenxue{}'.format(i).encode()).decode() url='http://match.yuanrenxue.
python面试题试水 python面试题试水主观题你认为怎么样完成工作才算认真负责？你怎样看待技术工作中的‘苦’？当你被人误解，甚至被人骂，你会怎样去解决这样的问题？你是怎样理解创新与微创新？如果你不是计算机相关专业出身，做工作时会觉得有哪些缺陷？如果是，用一句话来说明什么是计算机。如何学习技术知识点，有哪些好办法？客观题如下代码输出的是？如下的代码输出是?如下的代码输出是?python是一门怎样的语言？有哪些不足？这两个参数是什么意思：*args, **kwargs ?为什么要使用？请写出一段python代码实现删除一个lis
关注
