![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spider
99Kies
Linux,Docker/Kubernetes,FISCO BCOS,Substrate,云计算/区块链/分布式,Go & Python,拾火柴精神探索者,Open Source Developer。
展开
-
requests库实现模拟登陆功能——以CSDN为例
用Selenium实现模拟登陆固然简单,但是由于他需要等待js渲染网页,所以有时候登陆的速度会非常的慢,而且特别容易timeout。 但是还有requests库呀,今天讲一下用requests模拟登陆csdn分析登陆界面 https://passport.csdn.net/login 登陆前F12截取一下登陆过程中的数据包 发现可疑数据 ...原创 2019-08-03 17:20:20 · 2572 阅读 · 6 评论 -
阿里云服务器搭建Splash负载均衡
服务器搭建Splash负载均衡1. 安装Splash2. Nginx安装3.配置负载均衡一, 安装Splash(每台远程服务器)在远程主机中执行以下命令安装Dockersudo apt install docker.io安装scarpy-splashdocker run -p 8050:8050 scrapinghub/splash...原创 2019-07-26 21:10:30 · 2578 阅读 · 0 评论 -
阿里云Ubuntu16.04通过Squid配置实现代理爬虫
一,在阿里云服务器上安装并配置Squid安装sudo apt-get install squid配置vi /etc/squid/squid.conf将文中的http_port改为你需要的端口(默认是3128)http_port 8899将http_access deny all 改为http_access allow all或者将文中的http_acc...原创 2019-07-22 22:42:21 · 1308 阅读 · 0 评论 -
Python制作CSDN数据中心——记录每篇文章访客量的日变化和总变化
记录每篇文章访客量的日变化和总变化GitHub项目地址:https://github.com/99Kies/Visitor_MonitorPython制作CSDN数据中心——访客量可视化光记录总访客量总觉得少了啥,今天就添加一个记录每篇文章的日变化和总变化,方便之后可以将数据做成饼状图概括了一下主要分以下几个模块爬虫模块存储模块判断模块比较模块更新模块可视化...原创 2019-08-18 20:09:21 · 470 阅读 · 0 评论 -
Python制作CSDN数据中心——CSDN机器人访客
CSDN机器人访客这篇主要介绍项目里的模拟访客模块GitHub项目地址:https://github.com/99Kies/Visitor_Monitor模块地址:https://github.com/99Kies/Visitor_Monitor/blob/master/Vistor/slum_csdn.py因为做的是访客流量监视,但是没有访客,因为懒的用手点,就写了个这个东东...原创 2019-08-19 17:35:35 · 497 阅读 · 0 评论 -
利用Python爬取京东网商品信息, 实现可见即可爬
爬取京东商品信息 以爬取Macbook商品信息为例,通过Selenium实现可见即可爬的功能 关于Selenium的driver配置问题https://blog.csdn.net/qq_19381989/article/details/95893317一,分析页面1. 分析搜索方式 https://search.jd.com/Search?keyword...原创 2019-08-20 16:48:49 · 3272 阅读 · 1 评论 -
Python制作CSDN数据中心——访客量可视化
CSDN访客量可视化 由于CSDN网页上不显示具体的访客量,手机app上的访客量又和公开文章的访问量对不上,也搞不懂他还算了啥,所以我就把所有文章的访问量统计下来作为访客量数据。具体思路:1. 每天中午12点通过requests+pyquery获取总体访问量并保存2. 通过matplotlib将数据可视化,并分析访客流量3. 测试代码还有功能等待开发GitHub地...原创 2019-08-18 16:40:55 · 782 阅读 · 1 评论