- 博客(31)
- 收藏
- 关注
原创 vue定义全局函数
方法一: //在mian.js中写入函数Vue.prototype.changeData = function (){ alert('执行成功');}//在所有组件里可调用函数this.changeData();方法二: // 写好自己需要的base.js文件exports.install = function (Vue, options) { Vue...
2018-10-28 20:50:25 305
原创 dva工作流程
数据流向数据的改变发生通常是通过用户交互行为或者浏览器行为(如路由跳转等)触发的,当此类行为会改变数据的时候可以通过 dispatch 发起一个 action,如果是同步行为会直接通过 Reducers 改变 State ,如果是异步行为(副作用)会先触发 Effects 然后流向 Reducers 最终改变 State,所以在 dva 中,数据流向非常清晰简明,并且思路基本跟开源社区保持一致...
2018-10-28 20:19:12 2058
转载 n+1问题及解决方案
n+1问题:查询主数据,是1次查询,查询出n条记录;根据这n条主记录,查询从记录,共需要n次,所以叫数据库1+n问题;这样会带来性能问题,比如,查询到的n条记录,我可能只用到其中1条,但是也执行了n次从记录查询,这是不合理的。为了解决这个问题,出现了懒加载,懒加载就是用到的时候再查询;我们设置association元素中的fetchType fetchType=lazy<associat...
2018-10-22 18:22:10 2111
转载 Linux Shell常用shell命令
一、文件、目录操作命令1、ls命令功能:显示文件和目录的信息ls 以默认方式显示当前目录文件列表ls -a 显示所有文件包括隐藏文件ls -l 显示文件属性,包括大小,日期,符号连接,是否可读写及是否可执行ls -lh 显示文件的大小,以容易理解的格式印出文件大小 (例如 1K 234M2G)ls -lt 显示文件,按照修改时间排序2、cd命令功能:改名目录...
2018-09-22 16:23:01 379
转载 json对象和json字符串之间的转化
json字符串----->json对象 使用JSON.parse()函数 var jsonStr = '{"name":"zhangsan","age":23,"email":"chentging@aliyun.com"}';var json = JSON.parse(jsonStr);console.log(json);//输出:Object {name: "zh
2018-09-21 14:37:55 158
转载 PySpider用法
PySpider 是一个我个人认为非常方便并且功能强大的爬虫框架,支持多线程爬取、JS动态解析,提供了可操作界面、出错重试、定时爬取等等的功能,使用非常人性化。本篇内容通过跟我做一个好玩的 PySpider 项目,来理解 PySpider 的运行流程。招兵买马具体的安装过程请查看本节讲述安装嗯,安装好了之后就与我大干一番吧。鸿鹄之志我之前写过的一篇文章抓取淘宝MM照...
2018-09-13 16:16:15 2328
转载 Linux常用命令
最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一下,仅供大家参考: 系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显...
2018-09-13 15:46:03 130
转载 HTTP请求/响应报文结构
HTTP请求报文一个HTTP请求报文由四个部分组成:请求行、请求头部、空行、请求数据。1.请求行请求行由请求方法字段、URL字段和HTTP协议版本字段3个字段组成,它们用空格分隔。比如 GET /data/info.html HTTP/1.1方法字段就是HTTP使用的请求方法,比如常见的GET/POST其中HTTP协议版本有两种:HTTP1.0/HTTP1.1 可以这样区别:...
2018-08-30 20:14:34 147
转载 JS如何发送HTTP请求
首先在html文档中准备一个区域用来显示请求返回的内容,并且给onload事件绑定好方法,如下图所示 然后我们建立一个XMLHttpRequest请求对象,如下图所示 3 接下来处理xmlhttprequest的onload方法,如下图所示,判断返回的状态码是不是200,200代表的是成功 接下来,调用请求对象的open方法,设置请求的方式为...
2018-08-21 13:08:10 26431
转载 Redis 安装
Window 下安装下载地址:https://github.com/MSOpenTech/redis/releases。Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择,这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘,解压后,将文件夹重新命名为 redis。如果下载过慢的话,可以下载国内的资源:http://download.csdn....
2018-08-15 19:48:45 111
转载 HTTP与TCP的区别和联系
HTTP与TCP的区别和联系 相信不少初学手机联网开发的朋友都想知道Http与Socket连接究竟有什么区别,希望通过自己的浅显理解能对初学者有所帮助。一、基本概念1、TCP连接 手机能够使用联网功能是因为手机底层实现了TCP/IP协议,可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口,使上层网络数据的传输建立在“无差别”的网络之上。...
2018-08-08 22:45:54 161
转载 scrapy-redis分布式爬虫的搭建过程
scrapy-redis分布式爬虫的搭建过程(理论篇) 1. 背景Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。2. 环境系统:win7 scrapy-redis redis 3.0.5 python 3.6.13. 原理3.1. 对比一下scr...
2018-08-04 11:40:12 351
转载 linux部署scrapy项目
scrapyd+supervisor在ubuntu部署scrapy项目之前写windows下面使用scrapyd的时候挖了个坑说要写一篇linux使用scrapyd不是scrapy项目的文章,现在过来填坑了,当然最重要的还是能帮助到有需要的人,因为我还是发现。。。找个教程真是太不容易了,最后也还是东平西凑才搭起来环境的。另外本教程使用了vritualenv虚拟环境安装得scrapyd,因为正...
2018-08-04 11:22:09 1499
转载 linux部署django项目
linux中部署django项目 通过Nginx部署Django(基于ubuntu)Django的部署可以有很多方式,采用nginx+uwsgi的方式是其中比较常见的一种方式。 在这种方式中,我们的通常做法是,将nginx作为服务器最前端,它将接收WEB的所有请求,统一管理请求。nginx把所有静态请求自己来处理(这是NGINX的强项)。然后,NGINX将所有非静态请求通过uwsg...
2018-08-04 10:23:39 223
原创 抓取电脑端和手机端数据
1、使用花瓶抓包工具, 打开应用便可以抓包电脑端数据2、手机端抓包:电脑和手机必须使用同一个网络(由电脑开启无线)配置手机:将下面自动改为手动 ...
2018-07-19 17:08:42 1346
原创 Gerapy分布式爬虫管理框架
介绍:Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。 gerapy的初始化配置:安装gerapy框架。$ pip install gerapy 检查gerapy是否可...
2018-07-18 18:09:18 2205 1
原创 scrapyd分布式爬虫部署
需要安装scrapyd=1.2.0 scrapy-client=1.2.0a1 启动scrapyd服务 配置爬虫项目开始向scrapyd中部署项目通过scrapyd-deploy命令测试scrapyd-deploy是否可用。查看当前可用于部署到scrapyd服务中的爬虫有哪些。参数1: [deploy: jobbole]参数2: scrapy.cfg文中中的url...
2018-07-18 17:52:33 541
原创 scrapy爬取数据存入表格中
1、Pipeline:2、settings:3、items:4、spider:也可以用scrapy框架自带存储功能存储:存储json格式:scrapy crawl 项目名称 -o 项目名称.json -s FEED_EXPORT_ENCIDING=utf-8存储csv(表格)形式:scrapy crawl 项目名称 -o 项目名称.csv -s FEED_EXPORT_ENCIDING=utf-8...
2018-07-07 14:42:25 2761
原创 scrapy爬虫框架
Python虚拟环境的安装和配置(windows)1.先在电脑上将python2.7和python3.5版本安装完成,并记清楚安装路径,统一安装在D盘2.配置系统环境变量中的path路径,添加路径的版本即为默认使用版本 3.在命令行工具中输入pip install virtualenv 下载python虚拟环境 4.在使用pip下载包时,经常会出现超时等情况,可以使用国内镜像提高下载速度,例如豆瓣...
2018-07-03 19:28:27 138
原创 cssselect用法
# cssselector:和xpath是使用比较多的两种数据提取方式。# scrapy爬虫框架:支持xpath/css# pyspider爬虫框架:支持PyQuery,也是通过css样式选择器实现的# pip install cssselectorimport cssselectfrom lxml.html import etreehtml = """ <div id='conten...
2018-06-14 21:42:33 5479
原创 xpath用法
# xpath:跟re, bs4, pyquery一样,都是页面数据提取方法。根据元素的路径来查找页面元素。# pip install lxml# element tree: 文档树对象from lxml.html import etreefrom fake_useragent import UserAgenthtml = """ <div id='content'> ...
2018-06-14 21:40:48 468
原创 数据库(insert-one和update)
def save_to_mongodb(data): # insert_one: 覆盖式的 db['article'].insert_one(data) # 更新的方法: # 参数1:指定根据什么字段去数据库中进行查询,字段的值。 # 参数2:如果经过参数1的查询,查询到这条数据,执行更新的操作;反之,执行插入的操作;$set是一个固定的写法。 # 参数3:是否...
2018-06-14 21:36:56 1859
原创 pyquery的用法
# pyquery:仿照jquery语法,封装的一个包,和bs4有点类似。from pyquery import PyQueryhtml = """ <div id='content'> <ul class='list'> <li class='one'>One</li> <li ...
2018-06-14 21:30:39 226
原创 mongodb流程
1、下载好mongodb,找到该文件对应的文件夹,与bin文件夹同级创建新文件夹data2、进入到data文件夹中创建新文件夹db3、在开始菜单中搜索cmd进入命令窗口4、进入bin文件夹中,敲命令cd C:\Program Files\MongoDB\Server\3.6\bin(这个路径是安装mongodb的路径)5、启动服务 , 必须是在bin文件夹中,命令:mongod --dbpath ...
2018-06-07 16:40:21 459
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人