- 博客(31)
- 收藏
- 关注
RSS订阅原创 vue定义全局函数
方法一: //在mian.js中写入函数Vue.prototype.changeData = function (){ alert('执行成功');}//在所有组件里可调用函数this.changeData();方法二: // 写好自己需要的base.js文件exports.install = function (Vue, options) { Vue...
2018-10-28 20:50:25
299
原创 dva工作流程
数据流向数据的改变发生通常是通过用户交互行为或者浏览器行为（如路由跳转等）触发的，当此类行为会改变数据的时候可以通过 dispatch 发起一个 action，如果是同步行为会直接通过 Reducers 改变 State ，如果是异步行为（副作用）会先触发 Effects 然后流向 Reducers 最终改变 State，所以在 dva 中，数据流向非常清晰简明，并且思路基本跟开源社区保持一致...
2018-10-28 20:19:12
2031
转载 n+1问题及解决方案
n+1问题：查询主数据，是1次查询，查询出n条记录；根据这n条主记录，查询从记录，共需要n次，所以叫数据库1+n问题；这样会带来性能问题，比如，查询到的n条记录，我可能只用到其中1条，但是也执行了n次从记录查询，这是不合理的。为了解决这个问题，出现了懒加载，懒加载就是用到的时候再查询；我们设置association元素中的fetchType fetchType=lazy<associat...
2018-10-22 18:22:10
2082
转载 Linux Shell常用shell命令
一、文件、目录操作命令1、ls命令功能：显示文件和目录的信息ls 以默认方式显示当前目录文件列表ls -a 显示所有文件包括隐藏文件ls -l 显示文件属性，包括大小，日期，符号连接，是否可读写及是否可执行ls -lh 显示文件的大小，以容易理解的格式印出文件大小 (例如 1K 234M2G)ls -lt 显示文件，按照修改时间排序2、cd命令功能：改名目录...
2018-09-22 16:23:01
370
转载 json对象和json字符串之间的转化
json字符串----->json对象 使用JSON.parse()函数 var jsonStr = '{"name":"zhangsan","age":23,"email":"chentging@aliyun.com"}';var json = JSON.parse(jsonStr);console.log(json);//输出:Object {name: "zh
2018-09-21 14:37:55
136
转载 PySpider用法
PySpider 是一个我个人认为非常方便并且功能强大的爬虫框架，支持多线程爬取、JS动态解析，提供了可操作界面、出错重试、定时爬取等等的功能，使用非常人性化。本篇内容通过跟我做一个好玩的 PySpider 项目，来理解 PySpider 的运行流程。招兵买马具体的安装过程请查看本节讲述安装嗯，安装好了之后就与我大干一番吧。鸿鹄之志我之前写过的一篇文章抓取淘宝MM照...
2018-09-13 16:16:15
2305
转载 Linux常用命令
最近都在和Linux打交道，感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制，当然，这也是很多人喜欢linux的原因，比较短小但却功能强大。我将我了解到的命令列举一下，仅供大家参考： 系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显...
2018-09-13 15:46:03
122
转载 HTTP请求/响应报文结构
HTTP请求报文一个HTTP请求报文由四个部分组成：请求行、请求头部、空行、请求数据。1.请求行请求行由请求方法字段、URL字段和HTTP协议版本字段3个字段组成，它们用空格分隔。比如 GET /data/info.html HTTP/1.1方法字段就是HTTP使用的请求方法，比如常见的GET/POST其中HTTP协议版本有两种：HTTP1.0/HTTP1.1 可以这样区别：...
2018-08-30 20:14:34
143
转载 JS如何发送HTTP请求
首先在html文档中准备一个区域用来显示请求返回的内容，并且给onload事件绑定好方法，如下图所示 然后我们建立一个XMLHttpRequest请求对象，如下图所示 3 接下来处理xmlhttprequest的onload方法，如下图所示，判断返回的状态码是不是200，200代表的是成功 接下来，调用请求对象的open方法，设置请求的方式为...
2018-08-21 13:08:10
26418
转载 Redis 安装
Window 下安装下载地址：https://github.com/MSOpenTech/redis/releases。Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘，解压后，将文件夹重新命名为 redis。如果下载过慢的话，可以下载国内的资源：http://download.csdn....
2018-08-15 19:48:45
105
转载 HTTP与TCP的区别和联系
HTTP与TCP的区别和联系 相信不少初学手机联网开发的朋友都想知道Http与Socket连接究竟有什么区别，希望通过自己的浅显理解能对初学者有所帮助。一、基本概念1、TCP连接 手机能够使用联网功能是因为手机底层实现了TCP/IP协议，可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口，使上层网络数据的传输建立在“无差别”的网络之上。...
2018-08-08 22:45:54
156
转载 scrapy-redis分布式爬虫的搭建过程
scrapy-redis分布式爬虫的搭建过程（理论篇） 1. 背景Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。2. 环境系统：win7 scrapy-redis redis 3.0.5 python 3.6.13. 原理3.1. 对比一下scr...
2018-08-04 11:40:12
330
转载 linux部署scrapy项目
scrapyd+supervisor在ubuntu部署scrapy项目之前写windows下面使用scrapyd的时候挖了个坑说要写一篇linux使用scrapyd不是scrapy项目的文章，现在过来填坑了，当然最重要的还是能帮助到有需要的人，因为我还是发现。。。找个教程真是太不容易了，最后也还是东平西凑才搭起来环境的。另外本教程使用了vritualenv虚拟环境安装得scrapyd，因为正...
2018-08-04 11:22:09
1490
转载 linux部署django项目
linux中部署django项目 通过Nginx部署Django（基于ubuntu)Django的部署可以有很多方式，采用nginx+uwsgi的方式是其中比较常见的一种方式。 在这种方式中，我们的通常做法是，将nginx作为服务器最前端，它将接收WEB的所有请求，统一管理请求。nginx把所有静态请求自己来处理（这是NGINX的强项）。然后，NGINX将所有非静态请求通过uwsg...
2018-08-04 10:23:39
216
原创 抓取电脑端和手机端数据
1、使用花瓶抓包工具， 打开应用便可以抓包电脑端数据2、手机端抓包：电脑和手机必须使用同一个网络（由电脑开启无线）配置手机：将下面自动改为手动 ...
2018-07-19 17:08:42
1315
原创 Gerapy分布式爬虫管理框架
介绍：Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。 gerapy的初始化配置：安装gerapy框架。$ pip install gerapy 检查gerapy是否可...
2018-07-18 18:09:18
2161
1
原创 scrapyd分布式爬虫部署
需要安装scrapyd=1.2.0 scrapy-client=1.2.0a1 启动scrapyd服务 配置爬虫项目开始向scrapyd中部署项目通过scrapyd-deploy命令测试scrapyd-deploy是否可用。查看当前可用于部署到scrapyd服务中的爬虫有哪些。参数1： [deploy: jobbole]参数2： scrapy.cfg文中中的url...
2018-07-18 17:52:33
517
原创 scrapy爬取数据存入表格中
1、Pipeline：2、settings：3、items：4、spider：也可以用scrapy框架自带存储功能存储：存储json格式：scrapy crawl 项目名称 -o 项目名称.json -s FEED_EXPORT_ENCIDING=utf-8存储csv（表格）形式：scrapy crawl 项目名称 -o 项目名称.csv -s FEED_EXPORT_ENCIDING=utf-8...
2018-07-07 14:42:25
2754
原创 scrapy爬虫框架
Python虚拟环境的安装和配置(windows)1.先在电脑上将python2.7和python3.5版本安装完成，并记清楚安装路径,统一安装在D盘2.配置系统环境变量中的path路径，添加路径的版本即为默认使用版本 3.在命令行工具中输入pip install virtualenv 下载python虚拟环境 4.在使用pip下载包时，经常会出现超时等情况，可以使用国内镜像提高下载速度，例如豆瓣...
2018-07-03 19:28:27
135
原创 cssselect用法
# cssselector：和xpath是使用比较多的两种数据提取方式。# scrapy爬虫框架：支持xpath/css# pyspider爬虫框架：支持PyQuery，也是通过css样式选择器实现的# pip install cssselectorimport cssselectfrom lxml.html import etreehtml = """ <div id='conten...
2018-06-14 21:42:33
5450
原创 xpath用法
# xpath：跟re, bs4, pyquery一样，都是页面数据提取方法。根据元素的路径来查找页面元素。# pip install lxml# element tree: 文档树对象from lxml.html import etreefrom fake_useragent import UserAgenthtml = """ <div id='content'> ...
2018-06-14 21:40:48
456
原创 数据库（insert-one和update）
def save_to_mongodb(data): # insert_one: 覆盖式的 db['article'].insert_one(data) # 更新的方法： # 参数1：指定根据什么字段去数据库中进行查询，字段的值。 # 参数2：如果经过参数1的查询，查询到这条数据，执行更新的操作；反之，执行插入的操作；$set是一个固定的写法。 # 参数3：是否...
2018-06-14 21:36:56
1831
原创 pyquery的用法
# pyquery：仿照jquery语法，封装的一个包，和bs4有点类似。from pyquery import PyQueryhtml = """ <div id='content'> <ul class='list'> <li class='one'>One</li> <li ...
2018-06-14 21:30:39
198
原创 mongodb流程
1、下载好mongodb,找到该文件对应的文件夹，与bin文件夹同级创建新文件夹data2、进入到data文件夹中创建新文件夹db3、在开始菜单中搜索cmd进入命令窗口4、进入bin文件夹中，敲命令cd C:\Program Files\MongoDB\Server\3.6\bin(这个路径是安装mongodb的路径)5、启动服务 ， 必须是在bin文件夹中，命令：mongod --dbpath ...
2018-06-07 16:40:21
449
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人