2017年12月_dream8062

原创 scapyd部署出现的问题的解决方案

1. 使用scrapyd-deploy部署时，发现spiders为0的排查，首先用 scrapy list 看一下是否可以识别2. windows下 scrapyd-deploy无后缀文件不能启动：解决方案一：执行命令pip install scrapy-client，安装完成后，在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件，这个scrapyd-depl

2017-12-28 18:13:27 1125

转载 ReactNative 到 Weex 的艰难一迈

2017-12-28 11:47:11 1892

转载前后端分离后的前端时代

什么是前后端分离要区分前端和后端，需要有个明确的界限。一般，用户可以直接看到的东西，都是属于前端的范畴，除了前端之外都属于后端了。你负责貌美如花，我负责赚钱养家在传统的像ASP，JSP和PHP等开发模式中，前端是处在一个混沌的状态中，可以说是没有独立的“人格”可言。前端负责切图和编写静态页面模板，后端将数据渲染到前端提供的页面模板中，最后将页面渲染到浏览器展示。这个过

2017-12-28 10:59:02 303 1

转载前后端分离之JWT用户认证

在前后端分离开发时为什么需要用户认证呢？原因是由于HTTP协定是不储存状态的(stateless)，这意味着当我们透过帐号密码验证一个使用者时，当下一个request请求时它就把刚刚的资料忘了。于是我们的程序就不知道谁是谁，就要再验证一次。所以为了保证系统安全，我们就需要验证用户否处于登录状态。传统方式前后端分离通过Restful API进行数据交互时，如何验证用户的登录信息及权限。在

2017-12-28 10:53:49 429

转载为什么前后端分离

【Web】JavaWeb项目为什么我们要放弃jsp？为什么要前后端解耦？为什么要前后端分离？2.0版，为分布式架构打基础。标签： jspjavanginxjava webajax2017-04-12 16:32 3147人阅读评论(2) 收藏举报分类：Java Web（1）前戏前后端分离已成为互联网项目开发的业界标准使用方

2017-12-28 10:49:43 1941 1

转载 vue前后端分离项目做权限控制、自动登陆、h5 history模式及404页面

本文来谈谈前后端分离的项目如何做权限控制和自动登陆，如何应用history模式使网址看起来和传统无差，以及设置404页面，以vue为例。自动登陆自动登陆一般是通过cookie和session的配合实现的。原理是登陆完成后服务端将用户信息保存在session中，并将sessionid保存在cookie中发送给客户端。客户端将cookie存起来，下次访问时带上cookie(如果没有过期)发起请

2017-12-27 19:07:47 9525

转载轻量级artTemplate引擎实现前后端分离—语法篇（实战）

通过本系列文章，你将获得以下问题的答案：1、什么是前后端分离2、如何用artTemplate实现前后端分离3、SpringMVC 实现后端 rest 接口4、彻底解决ajax跨域访问5、效果演示、demo源码下载语法篇上篇文章主要介绍了前后端分离与不分离的区别和优缺点；以及如何安装Node、运行demo；本篇文章主要讲解artTemplate的基本语法；一、

2017-12-27 18:20:10 3429 2

转载轻量级artTemplate引擎实现前后端分离—应用实战篇（实战）

本系列文章分三篇：基础篇、语法篇、实战篇。通过本系列文章，你将获得以下问题的答案：1、什么是前后端分离2、如何用artTemplate实现前后端分离3、SpringMVC 实现后端 rest 接口4、彻底解决ajax跨域访问5、效果演示、demo源码下载实战篇前2篇文章分别介绍了artTemplate基础和语法；所以我们具备了一些开发应用的基础条

2017-12-27 18:03:36 1446

转载轻量级artTemplate引擎实现前后端分离—基础篇（实战）

本系列文章分三篇：基础篇、语法篇、实战篇。通过本系列文章，你将获得以下问题的答案：1、什么是前后端分离2、如何用artTemplate实现前后端分离3、SpringMVC 实现后端 rest 接口4、彻底解决ajax跨域访问5、效果演示、demo源码下载基础篇“前后端分离”是目前比较火的技术，很多大公司已经选择将前后端进行分离，比如腾讯qq空间、爱奇艺网站等

2017-12-27 18:00:53 3029

转载京东 618：如何配合业务打造 JDReact 三端融合开发平台？

京东 618：如何配合业务打造 JDReact 三端融合开发平台？阅读 616收藏 312017-06-18原文链接：mp.weixin.qq.com腾讯云技术升级，年终钜惠！云服务器最高降价40%，CDN最高降价47%！限量秒杀中，立即抢购吧！https://cloud.tencent.com/act/bargin策划｜徐川、木环整理｜李梦、尾

2017-12-27 17:56:04 2205

转载 angular，vue 、react 的选择

衡量指标Angular 2ReactVue.js稳定是是是有强大的社区是是还不够大后盾GoogleFacebookLaravel和阿里巴巴文档清晰是是是容易上手一般，Typescrip

2017-12-27 17:53:31 656

转载从0-1打造最强性能Scrapy爬虫集群

1 项目介绍本项目的主要内容是分布式网络新闻抓取系统设计与实现。主要有以下几个部分来介绍：（1）深入分析网络新闻爬虫的特点，设计了分布式网络新闻抓取系统爬取策略、抓取字段、动态网页抓取方法、分布式结构、系统监测和数据存储六个关键功能。（2）结合程序代码分解说明分布式网络新闻抓取系统的实现过程。包括爬虫编写、爬虫避禁、动态网页数据抓取、部署分布式爬虫、系统监测共六个内容，结合实际定向抓取

2017-12-22 18:47:40 992

转载 scrapy的docker部署

Docker环境部署Docker安装：我使用的是企鹅的云服务器，ubuntu 32位网上有根多安装教程，我找了个最简单的 sudo apt-get install -y docker.io如果安装成功： docker info 后会出现docker版本信息但是不出所料，肯定没那么顺利 Cannot connect to the Docker daemon.网上查询一

2017-12-22 18:17:05 2356

转载 scrapyd远程连接配置

scrapyd远程连接配置安装scrapyd：pip install scrapyd默认scrapyd启动是通过scrapyd就可以直接启动，bind绑定的ip地址是127.0.0.1端口是：6800，这里为了其他主机可以访问，需将ip地址设置为0.0.0.0即将bind_address = 127.0.0.1 改为bind_address

2017-12-22 18:10:08 3091

转载 Scrapy可视化管理软件SpiderKeeper

通常开发好的Scrapy爬虫部署到服务器上，要不使用nohup命令，要不使用scrapyd。如果使用nohup命令的话，爬虫挂掉了，你可能还不知道，你还得上服务器上查或者做额外的邮件通知操作。如果使用scrapyd，就是部署爬虫的时候有点复杂，功能少了点，其他还好。SpiderKeeper是一款管理爬虫的软件，和scrapinghub的部署功能差不多，能多台服务器部署爬虫，定时执行爬虫，查看爬

2017-12-22 18:08:12 2937 1

转载 Scrapyd部署爬虫

Scrapyd部署爬虫准备工作安装scrapyd: pip install scrapyd安装scrapyd-client : pip install scrapyd-client安装curl:[安装地址](http://ono60m7tl.bkt.clouddn.com/curl.exe),安装完成以后将所在目录配置到环境变量中开始部署

2017-12-22 18:05:31 488

转载使用Scrapyd部署爬虫

为什么要用Scrapyd？Scrapyd是scrapinghub官方提供的爬虫管理、部署、监控的方案之一，另一个是Scrapy Cloud。官方对它的定义是Scrapy DocScrapyd is an application for deploying and running Scrapy spiders. It enables you to deploy (upload) yo

2017-12-22 18:00:50 1931

转载 scrapy的xpath语法

Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/　　之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。　　xp

2017-12-20 18:11:04 718

原创 chrome插件 xpath-helper的安装

浏览器地址栏输入：chrome://extensions/点击获取更多程序在应用商店搜索：XPath-Helper点击：添加至CHROME

2017-12-20 18:07:54 498

转载 Scrapy简单入门及实例讲解

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy 使

2017-12-20 17:46:48 817

转载用Scrapy shell调试xpath

首先还是安利一下国内翻译的scrapy文档，虽然最新的翻译版本是1.0版，scrapy已经出到1.3版，但是这份文档仍然非常好用，只是有些版本差异带来的小坑。在命令行键入scrapy shell1进入scrapy shell终端，如果你安装了IPython，它会以IPython启动。此时会打出一些Scrapy的启动信息和使用方法。使用fetch()获取网页In

2017-12-20 17:42:09 517

转载 Python之自动单元测试之一（unittest使用实例）

Python之自动单元测试之一（unittest使用实例）软件的测试是一件非常乏味的事情，在测试别人编写的软件时尤其如此，程序员通常都只对编写代码感兴趣，而不喜欢文档编写和软件测试这类"没有创新"的工作。既然如此，为什么不让程序员在编写软件时自己加入一些用于测试的代码，使测试过程自动化呢？在软件工程中，这一技术称为自动单元测试，本文介绍在用Python开发软件时如何实现这一目标。一、软

2017-12-20 17:40:06 382

转载 centos 安装 MySQL-python

CentOS 6 安装 MySQL-pythonyum install -y mysql-devel python-devel python-setuptoolspip install MySQL-python

2017-12-19 13:34:12 194

转载 Scrapy ImportError: DLL load failed: 操作系统无法运行 %1

标题: Scrapy ImportError: DLL load failed: 操作系统无法运行 %1作者: Demon链接: http://demon.tw/software/scrapy-importerror-dll-load-failed.html版权: 本博客的所有文章，都遵守“署名-非商业性使用-相同方式共享 2.5 中国大陆”协议条款。最近打算用Scrapy

2017-12-18 13:58:54 3257

dream8062的专栏