关闭
当前搜索:

震惊!Selenium分手PhantomJS

背景 今天本地调试基于Selenium+PhantomJS的动态爬虫程序顺利结束后,着手部署到服务器上,刚买的热乎的京东云,噼里啪啦一顿安装环境,最后跑的时候报了这么个错误: UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Fir......
阅读(103) 评论(0)

Celery ValueError: not enough values to unpack (expected 3, got 0)的解决方案

背景 最近因项目需要,学习任务队列Celery的用法,跟着官网写Demo,出现如题错误,最终在github的Issues里找到解决办法,记录如下。 场景还原 本地环境如下: Windows 10 Python 3.5.2 Celery 4.1.0 我是跟着这个前人翻译的中文文档敲的Demo。 代码tasks.py: from celery import Celery a...
阅读(229) 评论(0)

No module named 'django.templates'起因和解决

当我跟着django官网上的教程写到template模板这一部分的时候,出现了上述问题No module named 'django.templates'这我是懵逼的,我代码里压根没直接调用django.templates,而是调用了django.shortcuts.render,由它间接调用了前者,为什么内部django的内部逻辑会出错呢?当然还是自己错了……具StackOverFlow上Hoan...
阅读(318) 评论(0)

Java值传递以及引用的传递、数组的传递!!

许多编程语言都有2种方法将参数传递给方法——按值传递和按引用传递。与其他语言不同,Java不允许程序员选择按值传递还是按引用传递各个参数,基本类型(byte–short–int–long–float–double–boolean–char)的变量总是按值传递。就对象而言,不是将对象本身传递给方法,而是将对象的的引用或者说对象的首地址传递给方法,引用本身是按值传递的———–也就是说,讲引用的副本传递给...
阅读(208) 评论(0)

Django配置Ajax跨域调用/设置Cookie

背景前段时间感觉自己使用Hexo搭建的个人独立博客使用起来颇为无力(大抵是多说关服的原因),遂萌生出了自己给自己定制一个博客的想法,恰巧又赶上了学校的“软件课程设计”,要求做一个基于数据库的软件,于是借此契机,筹划自己博客的开发。然而学校这边的条条杠杠是很多的,不得不把自己本来的需求“个人博客”更改为“博客平台”。考虑到自己前台功底实在不敢恭维,于是拉了隔壁寝专攻前台的江某某合作。经过江某某的一番教...
阅读(1285) 评论(0)

Java短路代码失效?不存在的

刚才在刷题过程中掉进了一个坑里,众所周知,Java语法中&&运算符有短路的功能,比如如下代码:public class Main{ public static void main(String[] args) { String s = null; if (1>2 && s.equals("hehe")) { System.out.pri...
阅读(342) 评论(0)

SpringBoot运行NoSuchMethodError

最近在看《精通Spring 4.x 企业应用开发实战》,学习到第三章Spring Boot,发现配套代码报出如下错误:2017-06-24 15:36:16.905 ERROR 37076 --- [ost-startStop-1] o.a.c.c.C.[Tomcat].[localhost].[/] : Exception sending context initialized eve...
阅读(487) 评论(0)

解决Nginx服务器中403 forbidden的错误

nginx 的 403 Forbidden errors 表示你在请求一个资源文件但是nginx不允许你查看。 403 Forbidden 只是一个HTTP状态码,像404,200一样不是技术上的错误。哪些场景需要返回403状态码的场景? 网站禁止特定的用户访问所有内容,例:网站屏蔽某个ip访问。 访问禁止目录浏览的目录,例:设置autoindex off后访问目录。 用户访问只能被内网访问的文件...
阅读(857) 评论(0)

基于Redis的布隆过滤器的实现

项目简介包含一个基于Redis的布隆过滤器的实现,以及应用到Scrapy中的Demo。地址:BloomFilterRedis布隆过滤器网上有很多介绍,推荐《数学之美》,介绍的很详尽,此处不再赘述。哈希函数布隆过滤器中需要n个哈希函数,我使用的是Arash Partow提供的常见哈希函数。建立在Redis上的布隆过滤器Redis中有一个数据结构叫做Bitmap(下方有官网详解),它提供一个最大长度为5...
阅读(3440) 评论(0)

Scrapy+PhantomJS+Selenium动态爬虫

转自http://jiayi.space/post/scrapy-phantomjs-seleniumdong-tai-pa-chong#fb_new_comment 很多网页具有动态加载的功能,简单的静态页面爬虫对它就无能为力了。这时候就需要PhantomJS+Selenium两大神器,再加上Scrapy爬虫框架,就可以拼凑成一个动态爬虫。PhantomJS简单点说PhantomJS就是一个没有界...
阅读(8603) 评论(1)
49条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:190625次
    • 积分:2094
    • 等级:
    • 排名:千里之外
    • 原创:41篇
    • 转载:6篇
    • 译文:2篇
    • 评论:70条
    文章分类
    最新评论