本文讨论了在使用selenium的webdriver进行爬虫时，ChromeDriver和Chrome可能产生的孤儿进程问题。孤儿进程会影响爬虫的运行效率，并提出通过查找并杀死由init接管的进程来解决这个问题。在Linux平台上，这种方法尤为有效。此外，作者还分享了从.NET迁移到.NET Core在Linux上运行大规模爬虫的经验，认为.NET 5具有良好的前景。
为了更好的js支持，爬虫很多使用的是无头浏览器。我们通常通过selenium的webdirver来控制无头浏览器。
比如说chrome浏览器就使用chromedriver。但是这个chromedriver是个服务器，有缺陷，大规模爬虫常常导致无法无法连接，导致我们不得不抛弃chromedriver进程，最后chromedriver就变成了孤儿进程。
这些孤儿太多会影响爬虫，所以必须及时清除
什么是孤儿进程，我们来看看wiki的解释
在类UNIX操作系统中，为避免孤儿进程退出时无法释放所占用的资源而僵死，任何孤儿进程产生时都会立即为系统进程init或systemd自动接收为子进程，这一过程也被称为“收养”（英語：re-parenting）[1]。在此需注意，虽然事实上该进程已有init作为其父进程，但由于创建该进程的进程已不存在，所以仍应称之为“孤儿进程”。
init的进程号是1，chromedriver就是init的子进程，所以根据这
最低0.47元/天 解锁文章
5866
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
