python网络爬虫使用教程_Python网络爬虫

正文通用抽取器发表时间：2020-03-13

GNE 是以 Python 包的形式存在，要测试 GNE 的提取效果，需要使用 pip 先安装，再写代码使用。 为了降低测试 GNE 的成本，也为了让更多同学了解 GNE，测试 GNE，我开发了网页版的 GNE—— Gne Online 。 ...

pyppeteer发表时间：2020-03-13

在 《在Pyppeteer中正确隐藏window.navigator.webdriver》 一文中，我们介绍了修改源代码使Pyppeteer 打开的 Chrome 隐藏 window.navigator.webdriver 的方法。 我们记住这个关键词 EvaluateOnNewDocument 。现在大家打开 Pyppeteer 的官方 API [1] ，搜索 evaluateOnNewDocument 可以看到原来 Pyppeteer 也是支持这个功能的。 ...

Selenium发表时间：2020-03-13

在 《一日一技：如何正确移除Selenium中window.navigator.webdriver的值》 一文中，我们介绍了在当时能够正确从Selenium启动的Chrome浏览器中移除 window.navigator.webdriver 的方法。 后来时过境迁，Chrome升级了版本，导致当时的方法已经失效。我们今天的方法非常简单。就是使用 Google 的 Chrome Devtools-Protocol(Chrome 开发工具协议) 简称 CDP...

python技巧发表时间：2020-03-02

Termux是一个Android终端的Linux环境仿真器。主要的是它无需root，就可以直接进行安装使用。可以使用apt包管理器或者这个工具推荐的pkg命令来定制安装其他的工具。何为其他工具？Linux下你能想到的工具，都可以去 尝试 ，多数都可以直接安装，但也有部分工具需要你转个弯，比如在手机中安装mysql数据库！ ...

python技巧发表时间：2020-03-02

在 Python 众多的 HTTP 客户端中，最有名的莫过于 requests 、 aiohttp 和 httpx 。在不借助其他第三方库的情况下， requests 只能发送同步请求； aiohttp 只能发送异步请求； httpx 既能发送同步请求，又能发送异步请求。 今天我们来一个浅度测评，仅仅以多次发送 POST 请求这个角度来对比这三个库的性能。 ...

python技巧发表时间：2020-03-02

有没有什么加速的办法呢？除了我们之前文章讲到的 多线程、aiohttp 或者干脆用 Scrapy 外，可以让 requests 保持连接从而减少频繁进行 TCP 三次握手的时间消耗。 那么要如何让 requests 保持连接呢？实际上非常简单，使用 Session 对象即可。 ...

正文通用抽取器发表时间：2020-02-28

GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率...

正文通用抽取器发表时间：2020-02-28

GeneralNewsExtractor 以下简称 GNE 是一个新闻网页通用抽取器，能够在不指定任何抽取规则的情况下，把新闻网站的正文提取出来。 安装 GNE 获取新闻网页源代码 ...

正文通用抽取器发表时间：2020-02-28

大部分的新闻网站，其新闻正文是在 p 标签中的。所以 GNE 在统计文本标签密度时，会考虑 p 标签的数量和 p 标签中文本的数量。 但是也有一些网站，他们的新闻正文是在 div 标签中的，这种情况下，这些 div 标签就会干扰文本标签密度的计算。 ...

正文通用抽取器发表时间：2020-02-28

在开发新闻网页正文通用抽取器 GNE 的过程中，需要对目标网页的源代码进行一些预处理，从而提高正文抓取的准确性。其中之一就是把

标签内部的 标签中的文本，合并到

标签中，再删除 标签...