2018年05月_小关学长

12月 11月 10月 09月 08月 05月 04月 02月 01月

原创 Scrapy项目部署到Gerapy分布式爬虫框架流程

1 准备工作（1）安装Gerapy 通过pip install gerapy即可（2）安装Scrapyd 通过pip install scrapyd即可（3）写好的Scrapy项目，如： 2 开始部署（1）在电脑任意位置新建一个文件夹，如：（2）打开cmd，进入到这个文件夹下，输入命令gerapy init 这时他会给我生成一个文件夹在这个文件夹...

2018-05-23 22:19:10 2309 1

原创 MUI下拉刷新上拉加载实现

DOM结构<div id="refreshContainer" class="mui-content mui-scroll-wrapper"> <div class="hui-media-list mui-scroll"> <ul id="con"> </ul>

2018-05-17 17:44:22 3073

原创 Scrapy环境搭建

1 需要安装的环境（1）Python3.6 （2）PyCharm （3）Twisted （4）scrapy （5）pypiwin32 注： https://pan.baidu.com/s/1nxfhrkc_UeOfDzRDTc2c0Q#list/path=%2Fscrapy%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA这里面包含了python3.6安装...

2018-05-11 17:10:47 1099

原创 jQuery实现局部区域滚动条滚动到底部自动加载数据的问题总结与实现方法

1 需求背景在我们做管理系统，需要从后台数据库取出数据显示到前台时，可能我们的做法就是将数据全部取出然后利用jQuery动态添加到表格当中，但是当我们取出的量非常大时问题就出现了，我们会发现页面加载的速度非常慢，这时我们就可利用分页或者这种监听滚动条来自动加载数据，这种技术也称为“懒加载”2 实现过程中遇到的问题总结（1）首先就是在滚动条滚动到底部之后，监听事件被多次触发。这个问题的解...

2018-05-07 21:48:58 5745 1

原创 mysql删除记录后自增不紧挨着自增问题

ALTER TABLE 表名 AUTO_INCREMENT = 从多少号开始自增;

2018-05-04 20:23:55 1184

原创 scrapy利用scrapy-splash爬取JS动态生成的标签

1 引言scrapy处理爬取静态页面，可以说是很好的工具，但是随着技术的发展，现在很多页面都不再是静态页面了，都是通过AJAX异步加载数据动态生成的，我们如何去解决问题呢？今天给大家介绍一种方法：scrapy-splash2 准备工作首先需要安装一下几个工具（1）docker （2）scrapy-splash 因为这里我的操作系统是window，所以只给出window安装d...

2018-05-04 13:01:02 4372 1