![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
dajiangqingzhou
这个作者很懒,什么都没留下…
展开
-
EC2 ubuntu安装图形界面
EC2 ubuntu安装图形界面前言过程前言本来服务器上装图形界面就是挺浪费资源的事儿,但是最近在开发爬虫的过程中,遇到某个网站,chrome的headless模式就会被封(已经根据网上的一些文章修改了headless的一些特征),无奈只能在服务器上暂时安装图形界面,以后再看有什么办法应对。 过程比较简单,稍微记录一下过程sudo apt update && sudo apt upgrade#ubuntu-desktop运行的时候稍微有点问题,所以安装了matesudo apt原创 2021-11-18 13:56:43 · 1214 阅读 · 0 评论 -
在EC2上利用squid搭建爬虫代理服务器
本文的命令是在ubuntu上运行的,其他操作系统类似1. 安装squidsudo apt-get updatesudo apt-get install squid2. 安装htpasswd,用于验证sudo apt-get install apache2-utils3. 创建访问代理的用户名密码:sudo mkdir /etc/squid/htpasswd -c /etc/squid/passwd xiaoming# 然后根据提示输入密码4. 验证用户名密码#原创 2020-12-07 10:43:11 · 560 阅读 · 0 评论