C#爬虫
关注
分享
扫一扫
爬虫，爬遍网络
蓝创精英团队
你所追求的事物，所做的每一件事情，都有它存在的意义。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
谷歌游览器 修改 UserAgent 图解
谷歌游览器打开开发者工具然后，选手机模拟和选择合适的手机样子。这种可以修改UA，但是，不够定制化。这个时候就可以在开发者工具的右上角点击 三个点 (More Tools - NetWork Conditions)然后，就会在控制台的位置出现然后，取消 select automatically 选项。下边就可以选指定的游览器类型的UA了。...原创 2021-03-21 12:27:00 · 1011 阅读 · 0 评论 -
chromedriver 下载
从这个地址进行下载:http://npm.taobao.org/mirrors/chromedriver/http://chromedriver.storage.googleapis.com/index.html以下是chromedriver对应的chrome版本：下载指定的版本后找到 游览器所在的位置把文件放进去然后，把这个地址，添加环境变量即可...原创 2019-06-13 11:21:26 · 3868 阅读 · 0 评论 -
关于爬虫
首先，爬虫不论是 什么语言都是支持的，区别只是有的语言像Python 自身带有库，所以方便爬取。而其他的语言还得自己写一些库用来爬取，对新手可能不友好. 总体来说，爬虫是对于 HTTP协议的一个实际应用。常用的C# 类有 (HttpWebRequest) 等。 一个简单的事例如下: var requestInfo = new RequestIn...原创 2019-06-20 15:45:34 · 591 阅读 · 0 评论 -
fidder 的证书是cer格式，需要转换成crt格式 才能用于root的安卓手机上 Win64OpenSSL
资源地址: https://download.csdn.net/download/kesshei/11260574Win64OpenSSL_Light-1_1_1b.zip具体命令如下:原先的安卓系统是5.1现在的安卓系统是9.06.0好像是最好的所以，底层的策略改了。得root才能实现openssl 命令openssl x509 -inform DER -in...原创 2019-06-27 09:23:48 · 2448 阅读 · 0 评论 -
爬虫 获取 微信公众号所有用户信息，方便进行 粉丝处理。
如题。已经实现。原创 2019-07-03 22:40:31 · 3539 阅读 · 12 评论 -
爬虫开发框架浅谈
爬虫简而言之就是一个HTTP 或者 HTTPS 请求。那么，自然是包含两部分的。主要是请求参数 URL 会包含一些 根据URL 和时间 生成的 唯一Key等参数 请求头 Cookie Host Referer User-Agent X-Requested-With(ajax 请求头) 或者其他自定义请求头 请求的频率 需要...原创 2019-06-29 08:03:21 · 434 阅读 · 0 评论 -
最近被反爬虫了。原来是 navigator.webdriver 为 True
解决方案就是 去除谷歌游览器的 启动参数--enable-automation 这个属性会使 navigator.webdriver 为 True原创 2019-08-16 11:14:54 · 6797 阅读 · 4 评论 -
爬虫之IP代理
在爬虫，爬数据的时候，很容易出现IP锁定，403，验证码等情况，一般出现此类情况的时候，就会用IP代理，来实现，大量的频繁更换IP 来实现数据的频繁爬取和并发爬取。 现在的方式是增加一个这个的一个服务，一直跑几个免费的IP平台，大致也是这个流程以上图片来源于网络.其中代理的网站大致有:链接：http://note.youdao.com/noteshare...原创 2019-09-10 10:33:34 · 827 阅读 · 1 评论