刘延林

1，SOCKS是什么？ 它是一种防火墙安全会话转换协议，该协议提供一个框架，为在 TCP 和 UDP 域中的客户机/服务器应用程序能更方便安全地使用网络防火墙所提供的服务。这个协议从概念上来讲是介于应用层和传输层之间的 “中介层（shim-layer）”，因而不提供如传递 ICMP 信息之类的网络层网关服务。在编写网络爬虫的时候，我们平常所接触使用到的代理IP都是HTTP或者HTTPS的代理，很少应用到SOCKS代理。socks分别有4和5两个版本，现在5为主流，所以本文所要讲解的版本为...

在写爬虫的时候，偶尔会遇到需要将自己电脑上的系统代理自动设置定时刷新等。在这种场景下，可以采用以下脚本进行自动设置，以下脚本仅限于windows电脑：mport winregimport ctypes#如果从来没有开过代理 有可能健不存在 会报错INTERNET_SETTINGS = winreg.OpenKey(winreg.HKEY_CURRENT_USER,r'Software\Microsoft\Windows\CurrentVersion\Internet Settings',0,

做爬虫的时候，针对于爬取的网页中有很多表格时，如有需要将网页上表格中内容原封不动的保存到csv文件中，可以参考以下方式，下面前面给的是一个测试源码，复制全部内容到py文件中即可进行测试：import csvfrom bs4 import BeautifulSoupimport re#可使用后面网站中的源码进行测试：https://www.landchina.com/DesktopModule/BizframeExtendMdl/workList/bulWorkView.aspx?wmguid=

以下是通过访问高德地图接口获取指定地名的经纬度信息代码：import requestsimport reimport json'''获取地址坐标'''def get_get_location_m(name): url="https://restapi.amap.com/v3/place/text?s=rsv3" \ "&children=&key=8325164e247e15eea68b59e89200988b&page=1" \

Appium 是移动端的自动化测试工具，利用它可以驱动 Android或者iOS 设备完成自动化测试，比如模拟点击 滑动 输入等操作，其官方网站为：http://appium.io/ 。本文中我们，我们就来了解一下 Appium 安装方式。 GitHub: https://github.com/appium/appium 官方网站 http ://appium.io 官方文档: http:// Appium.io/introduction.html 下载链接：https: //gith...

在编写爬虫抓取app数据的时候，往往需要通过抓包工具对app进行抓包分析，例如：Fiddler、Charles等，但是在偶尔的情况下，你会发现通过这些工具抓包抓取失败，一启用抓包工具，就会显示网络错误。为什么会这样了？我个人的了解和分析来看，应该是以下原因： 像Fiddler、Charles等这些大多数的抓包工具都是通过代理机制来抓包的，然而现在很多app对特定的敏感接...