- 博客(5)
- 收藏
- 关注
RSS订阅转载 爬虫绕过登陆
今日查 美团厦门研发中心 ，打开个链接发现要登陆：https://bbs.byr.cn/article/Fujian/457379发现可以在必应的页面缓存里看到内容，但是点下一页的时候又回到了该网站，要求登陆。问题是不是该学校的无法注册啊……想了想把爬虫头换成了必应爬虫的头，用requests库爬了一下，内容是正常的网页内容。get。End.转载于:https://www...
2017-04-18 16:01:00
448
转载 flask_pagedown小修改
默认的flask_pagedown渲染的内容在输入的文本框下，无法修改。后来想了想，或许可以修改它的父节点。于是：document.getElementById("flask-pagedown-body-preview").parentNode = document.getElementById("new");但是一直无法修改成功，又看了下w3c，或许可以修改父节点，让父...
2017-04-08 19:38:00
181
转载 使用python 多线程爬取代理ip
很多时候都需要用到代理ip，一个简单的方式就是写爬虫到网络上爬。这里以 西刺代理 http://www.xicidaili.com/ 为例。零、简单从浏览器看下网页时怎么打开的：这里以chrome浏览器为例，按f12打开开发者工具，点击Network开始记录请求。然后在地址栏输入 http://www.xicidaiil.com/nn 按回车，可看见下图：在右边的n...
2017-03-09 13:10:00
252
转载 修改pip及apt源
修改pip为豆瓣的源：pip的官方源下载有时很慢，可手动更新为豆瓣源。我使用nano编辑器，你可以使用其他自己喜欢的。若目录不存在，则需要手动创建。nano $HOME/.config/pip/pip.conf然后在这个空白的文档里面添加一下内容：[global]timeout = 60index-url = http://pypi.dou...
2017-03-02 10:49:00
157
转载 五分钟急速部署Ubuntu + Flask + uWSGI + Nginx 生产环境
突然看到篇系统介绍部署的文章，根据那文章全部推倒重写一下……原文链接：https://www.digitalocean.com/community/tutorials/how-to-serve-flask-applications-with-uwsgi-and-nginx-on-ubuntu-14-040.如果你的apt源及pip源很慢的话可以参考这篇文章1.首先安装Ng...
2017-02-27 11:30:00
147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人