![](https://img-blog.csdnimg.cn/20190829134448591.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
C#爬虫
爬虫,爬遍网络
蓝创精英团队
你所追求的事物,所做的每一件事情,都有它存在的意义。
展开
-
谷歌游览器 修改 UserAgent 图解
谷歌游览器打开开发者工具然后,选手机模拟和选择合适的手机样子。这种可以修改UA,但是,不够定制化。这个时候就可以在开发者工具的右上角点击 三个点 (More Tools - NetWork Conditions)然后,就会在控制台的位置出现然后,取消 select automatically 选项。下边就可以选指定的游览器类型的UA了。...原创 2021-03-21 12:27:00 · 741 阅读 · 0 评论 -
chromedriver 下载
从这个地址进行下载:http://npm.taobao.org/mirrors/chromedriver/http://chromedriver.storage.googleapis.com/index.html以下是chromedriver对应的chrome版本:下载指定的版本后找到 游览器所在的位置把文件放进去然后,把这个地址,添加环境变量即可...原创 2019-06-13 11:21:26 · 2871 阅读 · 0 评论 -
关于爬虫
首先,爬虫不论是 什么语言都是支持的,区别只是有的语言像Python 自身带有库,所以方便爬取。而其他的语言还得自己写一些库用来爬取,对新手可能不友好. 总体来说,爬虫是对于 HTTP协议的一个实际应用。常用的C# 类有 (HttpWebRequest) 等。 一个简单的事例如下: var requestInfo = new RequestIn...原创 2019-06-20 15:45:34 · 389 阅读 · 0 评论 -
fidder 的证书是cer格式,需要转换成crt格式 才能用于root的安卓手机上 Win64OpenSSL
资源地址: https://download.csdn.net/download/kesshei/11260574Win64OpenSSL_Light-1_1_1b.zip具体命令如下:原先的安卓系统是5.1现在的安卓系统是9.06.0好像是最好的所以,底层的策略改了。得root才能实现openssl 命令openssl x509 -inform DER -in...原创 2019-06-27 09:23:48 · 2184 阅读 · 0 评论 -
爬虫 获取 微信公众号所有用户信息,方便进行 粉丝处理。
如题。已经实现。原创 2019-07-03 22:40:31 · 3262 阅读 · 12 评论 -
爬虫开发框架浅谈
爬虫简而言之就是一个HTTP 或者 HTTPS 请求。那么,自然是包含两部分的。主要是请求参数 URL 会包含一些 根据URL 和时间 生成的 唯一Key等参数 请求头 Cookie Host Referer User-Agent X-Requested-With(ajax 请求头) 或者其他自定义请求头 请求的频率 需要...原创 2019-06-29 08:03:21 · 250 阅读 · 0 评论 -
最近被反爬虫了。原来是 navigator.webdriver 为 True
解决方案就是 去除谷歌游览器的 启动参数--enable-automation 这个属性会使 navigator.webdriver 为 True原创 2019-08-16 11:14:54 · 6524 阅读 · 4 评论 -
爬虫之IP代理
在爬虫,爬数据的时候,很容易出现IP锁定,403,验证码等情况,一般出现此类情况的时候,就会用IP代理,来实现,大量的频繁更换IP 来实现数据的频繁爬取和并发爬取。 现在的方式是增加一个这个的一个服务,一直跑几个免费的IP平台,大致也是这个流程以上图片来源于网络.其中代理的网站大致有:链接:http://note.youdao.com/noteshare...原创 2019-09-10 10:33:34 · 595 阅读 · 1 评论