- 博客(13)
- 收藏
- 关注
RSS订阅原创 Windows下的终端优化方案
前言在Mac上面安装了 iTerm2 之后，逐渐难以忍受 Windows 上面简陋的终端界面，CMD 就不谈了，即使了Windows10加入的 PowerShell ，也依旧差强人意。PowerShell 强化了Windows命令，并且能够让电脑使用部分的 Linux 命令，这是一个重大的进步。其缺点依旧明显，Linux命令并不完整，对于习惯了使用Linux命令行来实现一些骚操作的人来说，难免有点束手束脚。其次，PowerShell的界面也不太令人满意。 Figure1: 我所期待的终端界面
2020-07-19 22:16:26
1242
原创 Redis学习笔记(2)：进阶功能
3 进阶功能3.1 慢查询说明慢查询发生在第3阶段（执行命令阶段）客户端超时不一定慢查询，但慢查询是客户端超时的一个可能配置slowlog-man-len先进先出队列固定长度保存在内存内，即，随重启而重置slowlog-log-slower-than慢查询阈值（微秒）slowlog-log-slower-than = 0 ， 记录所有命令slowlog...
2020-02-12 12:19:21
2027
原创 Redis学习笔记(1):Redis基础
1. 基础1.1 常识Redis是用C语言开发的一个开源的高性能键值对（key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止Redis支持的键值数据类型如下：字符串类型散列类型列表类型集合类型有序集合类型1.2 特性速度快(数据保存在内存中)持久化(Redis所有数据保持在内存中,对数据的更新将异步地保存到磁盘上)多种数据结构多语...
2020-02-10 16:20:11
2322
原创 搭建一个基于flask和redis的代理池(proxy pool)
在进行网页爬虫的项目时，常常会因为爬取的频率过高而触发 反爬虫机制 ，这时候，面临两个选择：休息片刻。一般反爬虫机制不会进行永久的IP封禁，只是暂时限制访问而已，等待封禁时间结束再进行爬取即可。当然对于某些拥有黑名单机制的网站，如果封禁次数过多，封禁的时间也会随着这个次数而提高。更换IP。既然我的IP被封了，那么我换一个其他的IP不就行了。显然，第二种方法更优于第一种，并且更加符合gee...
2020-02-08 19:17:26
24291
3
原创 python高级爬虫笔记(3)
引入根据笔者以往的爬虫经验，大部分的爬虫是在静态网页上完成的，爬虫所要做的只不过是提交请求，然后分析返回的页面即可。当然，api本质上也可以作为静态页面来处理。这意味着只要掌握requests就可以完成60%-80%的爬虫任务。这是一个很惊人的占比，这里解释一下，静态页面可能听起来很low，但是有着以加载速度更快、易于维护为核心的一系列优势，尤其是引入了ajax之后，实现了动态加载，通过更加频...
2020-02-05 20:43:53
10146
原创 python高级爬虫笔记(4)
前言到这里，python爬虫部分的复习也就告一段落了，当然，除了scrapy，老实说，对于平常爬取几千条这种小打小闹的爬虫，并没有去深入研究scrapy的必要（当然，了解还是要了解一下的）。之前学习爬虫，因为需求的原因，只学习了网页爬虫。趁着寒假有空，再来看一看app爬虫是啥样的吧。mitmproxy官网github安装安装本体brew install mitmproxy...
2020-02-05 18:56:58
11054
3
原创 python高级爬虫笔记(2)
提高爬虫效率主要从三个方面开始复习。并发ipcookies并发必然引发的一个结果就是反爬虫机制，这种时候爬虫的效率不会因为并发而提高，反而会因为网站的防御机制拖累爬虫的速度。自然而然地就引出了2，代理爬虫。代理爬虫能够从多个ip发送请求，减小了单个ip的请求频率，自然触发反爬虫机制的概率也就小了很多。但是新的问题又出现了，对于需要 登录 的网站，需要提交cookies来模拟登录情况...
2020-02-05 18:54:19
9597
原创 python高级爬虫笔记(1)
写在前面selenium 虽然是新手友好型的爬虫工具，但是个人觉得绝对不是适合新手入门的爬虫。推荐在了解了 requests体系 的爬虫，有了爬虫的一些常识之后，再来看selenium。事实上，requests体系的爬虫已经足够满足现阶段大多数网站的爬虫需求关于SeleniumSelenium诞生于2014年，创造者是ThoughtWorks公司的测试工程师Jason Huggins。创...
2020-02-05 18:52:51
9589
原创 Java课设中的问题以及解决方案(三)
前言这次进行Java的大作业,虽然是一拖三,不过还是准备做得漂亮一点.Java还是很有趣的,并且可能以后工作室项目能用得到.嗯,如果做得好了,就请自己去搓一顿!思路需求分析架构界面设计需求分析这是一个项目的开始,课程设计(非游戏类)应该是要去解决一个实际的问题,而不是单纯的应付差事.这一次的项目需求与暑假项目相同,所以就不做赘述.架构项目架构是衡量一个项目的质量的重要指标...
2019-11-24 18:51:57
11045
原创 Java课设中的问题以及解决方案(二)
windowbuilder安装和使用类比于在VS stdio上开发c#,eclipse有对应的GUI开发工具,也就是windowbuilder.当然同类型的工具也有NetBeans等.编程虽然有趣,但是本身是一件很麻烦的事情,所以我就只选择了普遍评价较高的windowbuilder作尝试.windowbuilder主页S1:安装插件(install new software)(这里注意活用...
2019-11-21 19:15:08
10508
3
原创 Java课设中的问题以及解决方案(一)
前言开发环境系统环境: macOS Catalina 10.15java版本: JDK12开发环境: eclipse 2019-06 (4.12.0)绘图工具: notebility\ProcreatePs.界面设计全靠手绘…github上可以看到源码不过肯定是运行不了的啦,因为涉及到一些需要保密的东西.问题以及解决数据库连接问题导入 java.sql.Connectio...
2019-11-17 09:19:14
11461
8
原创 No.77 组合:回溯法
结果执行用时 :636 ms, 在所有 cpp 提交中击败了15.29%的用户内存消耗 :167.7 MB, 在所有 cpp 提交中击败了8.43%的用户时间消耗和空间消耗有点高，不过在使用回溯法的前提下，这是最优解吧。思路代码class Solution {public: vector<vector<int>> ret; vector&...
2019-10-26 14:48:04
9528
1
原创 No.84 柱状图中最大的矩形
结果法一:法二:思路代码解法一：class Solution {public: int largestRectangleArea(vector<int>& heights) { int n = heights.size(),res = 0; for(int i = 0; i < n; ++i){ ...
2019-10-24 20:36:06
9481
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人