Barry的博客

勿在浮沙筑高台

排序:
默认
按更新时间
按访问量

Spider和CrawlSpider的源码分析

一、Spider源码分析 在对CrawlSpider进行源码分析之前,先对Spider源码进行一个分析。 1.1、Spider介绍及主要函数讲解 Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(是否跟进链接)以及如何从网页的内容中提取结构化数据(提取Item)。 Spide...

2018-09-01 21:28:49

阅读数:19

评论数:0

全面了解浏览器(内核)发展史

转自:https://www.jianshu.com/p/db1b230e3415 浏览器发展史 现在浏览器已经成为网上生活的重要家园和工具。而从1991年,Web之父Tim Berners-Lee亲手设计第一个HTML浏览器开始,到现在HTML5大行其道,苹果、谷歌等创新企业引导潮流,恍若隔...

2018-08-31 12:46:38

阅读数:53

评论数:0

python爬虫之定位网页元素的三种方式

在做爬虫的过程中,网页元素的定位是比较重要的一环,本文总结了python爬虫中比较常用的三种定位网页元素的方式。 1.普通的BeautifulSoup find系列操作 2.BeautifulSoup css选择器 3. xpath 这三种方式灵活运用,再配合上正则表达式,没有什么网页能难...

2018-08-02 13:30:02

阅读数:343

评论数:0

webrtc编译注意

#depot_tools环境变量: path中增加G:\google\depot_tools #Windows Kits目录 set WINDOWSSDKDIR=D:\Windows Kits\10 #工具链相关 set DEPOT_TOOLS_WIN_TOOLCHAIN=0 set GYP...

2018-07-30 21:40:38

阅读数:28

评论数:0

AWS初体验-免费搭建SS

转自:https://blog.csdn.net/f59130/article/details/74014415 AWS初体验-免费搭建SS:https://blog.csdn.net/f59130/article/details/74014415 Google云平台-30分钟免费搭建SS:h...

2018-07-26 22:52:10

阅读数:407

评论数:0

Centos 7中安装Python包管理工具——Pip

转自:http://blog.lxx1.com/1420 pip 是一个常用的Python包管理工具,主要是用于安装 PyPI 上的软件包,可以替代 easy_install 工具。 GitHub: https://github.com/pypa/pip Doc: https://pip.p...

2018-07-26 22:51:01

阅读数:28

评论数:0

CentOS下shadowsocks-libev一键安装脚本

转自:秋水逸冰 » CentOS下shadowsocks-libev一键安装脚本 本脚本适用环境: 系统支持:CentOS 内存要求:≥128M 日期:2018 年 06 月 01 日 关于本脚本: 一键安装 libev 版的 Shadowsocks 最新版本。该版本的特点是内存占用小(600...

2018-07-26 22:48:59

阅读数:106

评论数:0

C++ COM组件编写初探

转自:https://blog.csdn.net/shejiannan/article/details/26386271 最近在学习COM,自己实现了一个小Demo,拿出来和大家分享一下。求各种批评。我实现的这个组件向外提供了一个接口ICompTest,里面只有一个函数helloworld(),功...

2018-07-10 15:56:29

阅读数:204

评论数:0

切换输入法导致程序死机的解决办法

转自:https://blog.csdn.net/chenlycly/article/details/7345040 近日在开发类似QQ屏幕截图过程中,发现在输入文字时切换输入法(Ctrl+Shift)时,会导致程序出现“卡死”现象。为了方便代码重用,屏幕截图模块是以动态库方式封装起来的。出现“卡...

2018-07-06 17:18:36

阅读数:80

评论数:0

Windows 下使用PDH 获取CPU 使用率

转自:https://blog.csdn.net/fengyishang/article/details/46440135windows下获取cpu 使用率的方法大概有以下这三种:windows 自带的API ,一般包含在头文件windows.h中Performance Data Helper (...

2018-07-03 16:54:26

阅读数:25

评论数:0

GN语法和操作

转自:https://blog.csdn.net/zhangtracy/article/details/79045363GN语言和操作GN语言和操作内容介绍使用内置的帮助设计理念语言字符串清单条件语句循环函数调用作用域和执行Scoping and execution命名事物文件和目录名称构建配置目...

2018-05-30 10:49:37

阅读数:121

评论数:0

WebRTC编译系统之gn files

转自:https://blog.csdn.net/foruok/article/details/70157065在“WebRTC 构建系统介绍之gn和ninja”中,大概介绍了 gn 和 ninja 的简单用法,这次来看看 gn 用到的项目文件 .gn 、 .gni 和 DEPS ,它们指导了如何...

2018-05-23 15:11:08

阅读数:107

评论数:0

使用 Ninja 代替 make

转自:https://www.jianshu.com/p/d118615c1943前言在传统的 C/C++ 等项目构建时,通常会采用 make 系统使用 Makefile 文件来进行整个项目的编译构建,通过 Makefile 中指定的编译所依赖的规则使得程序的构建非常简单,并且在复杂项目中可以避免...

2018-05-23 15:09:30

阅读数:360

评论数:0

GN使用笔记

转自:https://www.suninf.net/2017/05/gn-usage.html之前介绍过GYP,它是Google早期用来维护chromium项目的meta-build system,GN则是用来替代GYP的工具,目前chromium及相关的开源项目都迁移到基于GN来管理。并且GN是...

2018-05-21 18:46:46

阅读数:120

评论数:0

depot_tools,GN,ninja学习资料

depot_toolschromium Using depot_toolsGNGN Quick Start guideWhat is GN?

2018-05-19 18:57:56

阅读数:83

评论数:0

管理Chromium源代码的利器——depot_tools

转自:http://blog.gclxry.com/use-depot_tools-to-manage-chromium-source/由于Chromium项目的代码量巨大,又依赖了很多第三方代码库,所以如何有效的管理这些代码是个难题。Chromium官方提供了一个depot_tools来管理Ch...

2018-05-19 13:11:20

阅读数:79

评论数:0

VS2017 编译 chromium和webrtc

转自:https://www.cnblogs.com/Forever-Kenlen-Ja/p/7653144.htmlchromium的编译和webrtc的编译方式相同,webrtc官网也是使用的chromium的编译文档。步骤一、跳 - 墙,先跳 - 墙这是第一步哟,chromium大概有10几...

2018-05-17 10:28:38

阅读数:303

评论数:0

Windows窗体原理及控件重绘技巧

之前有学MFC的同学告诉我觉得Windows的控件重绘难以理解,就算重绘成功了还是有些地方不明白,我觉得可能很多人都有这样的问题,在这里我从Windows窗体的最基本原理来讲解,如果你有类似的疑惑希望这篇文章可以帮你解惑。 1.Windows窗体原理 首先,如果看过Win32 ...

2018-01-29 11:42:21

阅读数:140

评论数:0

linux安装vim8.0以及配置vim plug

安装vim8.0 由于后面需要安装YouCompleteMe,所以vim需要7.4.**(具体是几忘了)以上,并支持python2.6 or 3.7以上,索性直接安装vim8.0 源码安装支持python的vim8.0 (python如果没有,需要先安装,如果安装了其他版本的vim,先卸载,自行百...

2017-12-11 19:21:10

阅读数:5054

评论数:0

vs2015无法解析的外部符号 __imp___vsnprintf

解决:无法解析的外部符号 __imp___vsnprintf 在 vs2015 工程选项,链接器附加依赖项里面添加 legacy_stdio_definitions.lib 即可。 出现这个问题的原因是 vs2015 默认编译时将许多标准库采用内联方式处理,因而没有可以链接的标准库文件,所...

2017-12-04 09:15:03

阅读数:270

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭