关闭

scrapy在Request之间传递参数

我们在写爬虫的时候,经常会遇到这种情况,这里举例说明一下,比如爬一个新闻页面,首先爬的是新闻列表页pageA,从pageA里获取新闻详细页连接,然后爬新闻详情页pageB,新闻详情页pageB里有一个关于这个新闻的解说,在另一个页面pageC。这时候如果用传参的方法可以直接在爬取完成一条新闻的整个信息以后再把信息yield出去。 说明: 1、爬取列表信息的方法funcA 2、爬取新闻详情信息的...
阅读(484) 评论(0)

Docker创建Mysql容器并通过命令行连接到容器

文章转自http://www.cnblogs.com/baolong/p/5763412.html创建mysql5.6容器 1master+3个slavedocker run --name mysql-master -d -P hub.c.163.com/nce2/mysql:5.6 docker run --name mysql-slave1 -d -P hub.c.163.com/nce2/my...
阅读(253) 评论(0)

SSM框架——详细整合教程(Spring+SpringMVC+MyBatis)

使用SSM(spring、SpringMVC和Mybatis)已经有三个多月了,项目在技术上已经没有什么难点了,基于现有的技术就可以实现想要的功能,当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程,这次刚刚好基于自己的一个小项目重新搭建了一次,而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录,以后在自己的小项目中遇到我再整理分享一下。这次,先说说三大框架整合过程。个人认为...
阅读(378) 评论(0)

Spring MVC 教程,快速入门,深入分析

原文地址:http://elf8848.iteye.com/blog/875830/#目录 一、前言 二、spring mvc 核心类与接口 三、spring mvc 核心流程图 四、spring mvc DispatcherServlet说明 五、spring mvc 父子上下文的说明 六、springMVC-mvc.xml 配置文件片段讲解 七、spring mvc 如何访问到静态的文件,如j...
阅读(321) 评论(0)

python读取xml文件

关于python读取xml文章很多,但大多文章都是贴一个xml文件,然后再贴个处理文件的代码。这样并不利于初学者的学习,希望这篇文章可以更通俗易懂的教如何使用python 来读取xml 文件。什么是xml?xml即可扩展标记语言,它可以用来标记数据、定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。abc.xml...
阅读(241) 评论(0)

Python图片处理模块Pillow

原文来自Pillow安装警告* Pillow 不能和PIL 同时存在于一个环境中,在安装Pillow之前需要先卸载PIL * Pillow 1.0 版本后已经不支持import Image,请使用from PIL import Image来代替 * Pillow 2.1.0版本以后已经不支持import _imaging,请使用from PIL.Image import core as _imagi...
阅读(2711) 评论(0)

iOS下载历史版本App教程

该文章属于原创,转载请注明: http://www.jianshu.com/p/edfed1b1822c有些时候我们需要下载旧版本的 App 进行研究或者其他用途,然而在 iOS 下,苹果的 App Store 里面默认只能下载最新版本的 App,对滴,就是这么任性,不服不行。然而在 Android 里面任意一个应用商店都可以下载任意版本的 A...
阅读(5726) 评论(0)

Docker创建Mysql容器并通过命令行连接到容器

原文地址:http://www.cnblogs.com/baolong/p/5763412.html拉取网易蜂巢的mysql-server:5.6docker pull hub.c.163.com/nce2/mysql:5.6创建mysql5.6容器 1master+3个slavedocker run --name mysql-master -d -P hub.c.163.com/nce2/mysq...
阅读(1866) 评论(0)

elasticsearch 查询(match和term)

原文: http://www.cnblogs.com/yjf512/p/4897294.htmlelasticsearch 查询(match和term)es中的查询请求有两种方式,一种是简易版的查询,另外一种是使用JSON完整的请求体,叫做结构化查询(DSL)。由于DSL查询更为直观也更为简易,所以大都使用这种方式。DSL查询是POST过去一个json,由于post的请求是json格式的,所以存在...
阅读(229) 评论(0)

elasticsearch不能以root运行的问题

当我们在使用elasticsearch的时候,如果是以root权限来执行elasticsearch./elasticsearch则会有以下报错Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root. at org.elasticsearch.bootstrap.Bootstrap.i...
阅读(4306) 评论(0)

如何让你的scrapy爬虫不再被ban

原文地址:前面用scrapy编写爬虫抓取了自己博客的内容并保存成json格式的数据scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据和写入数据库scrapy爬虫成长日记之将抓取内容写入mysql数据库。然而,这个爬虫的功能还是过于弱小,一旦目标网站设置了爬虫的限制,我们的爬虫也就失效了。因此这里重点讲述一下如何避免scrapy爬虫被ban。本门的所有内容都是基于前面两篇文章的基础...
阅读(1321) 评论(0)

MySQL 连接错误Can't connect to MySQL server on (61)

链接数据库时忽然遇到一个问题。Mac Navicat链接时报错Cant connect to MySQL server on ‘xx.xx.xx.xx’ (61)。PS. win版Navicat 报错Can’t connect to MySQL server on ‘xx.xx.xx.xx’ (10038)其中xx.xx.xx.xx是ip地址。1、查看该用户是否有远程登录的权限===mysql>...
阅读(8732) 评论(0)

Mac 10.11安装MySQLdb-python时报错总结

前言===其实以前遇到过这些坑,费了n久解决了以后,实在是心累,不想总结。当时心想,现在配好这个环境,以后再也不弄这个了!!然鹅,是我图样图森破了,这美好的乌托邦环境在一次电脑抽风,只能重装以后就木有了!心好累~错误===下面开始我们的错误之旅~1、mysql_config not found===按照套路步骤,首先在这https://sourceforge.net/projects/mysql-p...
阅读(659) 评论(0)

JQuery 开始关闭按钮禁用属性

启用禁用属性:$("#buttonID").attr({"disabled":"disabled"}); 或者 $("#buttonID").attr('disabled','');两着都会给id为buttonID的按钮添加disabled属性。当按钮有该属性以后无法进行点击关闭禁用属性$("#buttonID").removeAttr("disabled");该代码会移除id为buttonID的按...
阅读(669) 评论(0)

Django链接远程数据库并创建model

前言基础知识网上有很多,不再赘述。这里默认你已经对Django有了一定的的了解。 看本文的前提: 已经对Django有了基础的认识 已经有了远程数据库 拥有该数据库的相关权限 远程数据库配置修改settings.py中数据库相关代码:DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3', 'NAME':...
阅读(1422) 评论(0)
105条 共7页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1175817次
    • 积分:5438
    • 等级:
    • 排名:第5453名
    • 原创:35篇
    • 转载:69篇
    • 译文:1篇
    • 评论:289条
    我的微博
    github博客
    github
    文章分类
    最新评论