孔天逸'Blog

相信美好!

排序:
默认
按更新时间
按访问量

震惊!Selenium分手PhantomJS

背景 今天本地调试基于Selenium+PhantomJS的动态爬虫程序顺利结束后,着手部署到服务器上,刚买的热乎的京东云,噼里啪啦一顿安装环境,最后跑的时候报了这么个错误: UserWarning: Selenium support for PhantomJS has been deprec...

2018-02-14 00:26:04

阅读数:8046

评论数:8

Celery ValueError: not enough values to unpack (expected 3, got 0)的解决方案

背景 最近因项目需要,学习任务队列Celery的用法,跟着官网写Demo,出现如题错误,最终在github的Issues里找到解决办法,记录如下。 场景还原 本地环境如下: Windows 10 Python 3.5.2 Celery 4.1.0 我是跟着这个前人翻译的中文文档敲...

2018-01-12 19:56:13

阅读数:1513

评论数:1

No module named 'django.templates'起因和解决

当我跟着django官网上的教程写到template模板这一部分的时候,出现了上述问题No module named 'django.templates'这我是懵逼的,我代码里压根没直接调用django.templates,而是调用了django.shortcuts.render,由它间接调用了前...

2017-10-23 21:06:13

阅读数:640

评论数:0

Java值传递以及引用的传递、数组的传递!!

许多编程语言都有2种方法将参数传递给方法——按值传递和按引用传递。与其他语言不同,Java不允许程序员选择按值传递还是按引用传递各个参数,基本类型(byte–short–int–long–float–double–boolean–char)的变量总是按值传递。就对象而言,不是将对象本身传递给方法,...

2017-07-02 22:23:23

阅读数:265

评论数:0

Django配置Ajax跨域调用/设置Cookie

背景前段时间感觉自己使用Hexo搭建的个人独立博客使用起来颇为无力(大抵是多说关服的原因),遂萌生出了自己给自己定制一个博客的想法,恰巧又赶上了学校的“软件课程设计”,要求做一个基于数据库的软件,于是借此契机,筹划自己博客的开发。然而学校这边的条条杠杠是很多的,不得不把自己本来的需求“个人博客”更...

2017-06-28 23:24:13

阅读数:1815

评论数:0

Java短路代码失效?不存在的

刚才在刷题过程中掉进了一个坑里,众所周知,Java语法中&&运算符有短路的功能,比如如下代码:public class Main{ public static void main(String[] args) { String s = null; ...

2017-06-28 21:00:53

阅读数:392

评论数:0

SpringBoot运行NoSuchMethodError

最近在看《精通Spring 4.x 企业应用开发实战》,学习到第三章Spring Boot,发现配套代码报出如下错误:2017-06-24 15:36:16.905 ERROR 37076 --- [ost-startStop-1] o.a.c.c.C.[Tomcat].[localhost].[...

2017-06-24 15:52:04

阅读数:759

评论数:0

解决Nginx服务器中403 forbidden的错误

nginx 的 403 Forbidden errors 表示你在请求一个资源文件但是nginx不允许你查看。 403 Forbidden 只是一个HTTP状态码,像404,200一样不是技术上的错误。哪些场景需要返回403状态码的场景? 网站禁止特定的用户访问所有内容,例:网站屏蔽某个ip访问...

2017-05-15 11:10:46

阅读数:1000

评论数:0

基于Redis的布隆过滤器的实现

项目简介包含一个基于Redis的布隆过滤器的实现,以及应用到Scrapy中的Demo。地址:BloomFilterRedis布隆过滤器网上有很多介绍,推荐《数学之美》,介绍的很详尽,此处不再赘述。哈希函数布隆过滤器中需要n个哈希函数,我使用的是Arash Partow提供的常见哈希函数。建立在Re...

2017-04-30 17:57:51

阅读数:6695

评论数:0

Scrapy+PhantomJS+Selenium动态爬虫

转自http://jiayi.space/post/scrapy-phantomjs-seleniumdong-tai-pa-chong#fb_new_comment 很多网页具有动态加载的功能,简单的静态页面爬虫对它就无能为力了。这时候就需要PhantomJS+Selenium两大神器,再加上S...

2017-04-27 16:43:56

阅读数:12643

评论数:1

Python读写/追加excel文件Demo

三个工具包python操作excel的三个工具包如下,注意,只能操作.xls,不能操作.xlsx。 xlrd: 对excel进行读相关操作 xlwt: 对excel进行写相关操作 xlutils: 对excel读写操作的整合 这三个工具包都可以直接使用pip进行下载:sudo pip instal...

2017-04-02 17:40:28

阅读数:9182

评论数:0

Python的str强转int时的小问题

数字字符串前后有空格没事:>>> print(int(" 3 ")) 3但是下面这种带小数点的情况是不可取的:>>> print(int("3.0")) Traceback (most recent call last)...

2017-04-01 22:43:24

阅读数:2314

评论数:0

Ubuntu LAMPP Apache启动失败的解决方案

今天在Ubuntu16.04上装XAMPP(LAMPP),装完以后发现apache死活启动不起来,虽然我已经改了默认访问端口和SSL端口,然而并不能解决问题。而且在图形界面里还没有报错信息,于是用命令行启动,看到提示:XAMPP: Another web server with SSL is al...

2017-03-20 20:47:11

阅读数:936

评论数:0

Scrapy定时关闭

之前转载过一篇介绍定时执行Scrapy方法的博文:scrapy定时执行抓取任务,并且一直在使用这个方法做增量爬虫。但是问题来了,假设如下情景:某一天,我要爬的网站更新了非常非常多的内容,以至于一天过去了,我的爬虫还没有停止工作。但是我的Ubuntu系统并不知道,于是它又定时的去crontab中执行...

2017-03-19 22:53:25

阅读数:1993

评论数:2

爬虫爬到含空格的url的处理办法

道友问我的一个问题,之前确实没遇见过,在此记录一下。问题描述在某网站主页提取url进行迭代,爬虫请求主页时没有问题,返回正常,但是在访问在主页提取到的url时出现了400状态码(400 Bad Request)。结论先贴出结论来,如果url里有空格的话,要把空格替换成%20,也就是url编码,否则...

2017-03-17 19:40:09

阅读数:1354

评论数:0

SQL Server之user关键字

在使用SQL Server的时候,不过脑创建了一个名为user的数据表,在查询的时候出现了如下错误:关键字 'user' 附近有语法错误。看了半天也没看出来自己sql语句哪里写错了。原来user是SQL Server的关键字,创建数据表的时候应该避开它。官方文档链接: https://msdn....

2017-03-15 19:03:19

阅读数:439

评论数:0

透明代理、匿名代理、混淆代理、高匿代理有什么区别?

转自http://blog.csdn.net/a19860903/article/details/47146715这4种代理,主要是在代理服务器端的配置不同,导致其向目标地址发送请求时,REMOTE_ADDR, HTTP_VIA,HTTP_X_FORWARDED_FOR三个变量不同。1、透明代理(...

2017-03-11 21:41:26

阅读数:1829

评论数:0

Python保存json文件并格式化

背景最近自己搞些小东西,需要用json文件存储些文件属性什么的,但是发现用json包里的json.dump()方法存json文件的效果好丑……(其实是没仔细看方法), 于是上网找了一份格式化json文件的代码,效果挺不错,用了递归的思想,学习了一波并找到了其中一点小bug。然后,发现其实json....

2017-02-26 17:48:24

阅读数:10607

评论数:1

探究在线课程时长与观看人数的关系——以极客学院为例

背景看网络课程是假期充电的好方法,遇到一节短短的干货网络课,真是让人受益匪浅、回味无穷。但不知大家有没有类似的感受,当你在线上课程平台看到一个感兴趣的课程,并迫不及待的点进去一探究竟时,巨长的课程时长让你的热情瞬间下降了一半。就算仍然饶有兴致的开始了学习,中途可能就打哈哈流泪进而放弃了,下次再看到...

2017-02-14 17:49:03

阅读数:624

评论数:0

SATA License——开源的泥石流

什么是SATA LicenseSATA License,全称The Star And Thank Author License(下面简称SATA),是zTrix发明的一款基于MIT许可证的集实用与逗逼于一身的开源许可证。特点当你使用了使用SATA的开源软件或文档的时候,在遵守MIT许可证的前提下,...

2017-02-02 14:04:09

阅读数:863

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭