- 博客(8)
- 收藏
- 关注
RSS订阅原创 Scrapyd部署
https://scrapyd.readthedocs.io/en/latest/api.html#cancel-jsonscrapyd部署爬虫项目：功能：它就相当于是一个服务器，用于将自己本地的爬虫代码，打包上传到服务器上，让这个爬虫在服务器上运行，可以实现对爬虫的远程管理。(远程启动爬虫，远程关闭爬虫，远程查看爬虫的一些日志。)1 首先安装scrapydpip install...
2019-03-06 22:26:12
461
原创 Python花瓶手机抓包配置教程
1 首先在电脑安装Charles花瓶。下载地址：https://www.zzzmode.com/mytools/charles/2 要求手机和电脑链接同一个网络。3 http请求抓包不需要配置证书。https请求需要配置安全证书。打开花瓶。我们要抓取手机端，选择Proxy Settings，配置 Port 改为 88884开始配置证书：花瓶需要安装证书，手机端也需要安装证书...
2019-03-06 21:04:46
1954
原创 Python搭建ip代理池
我们在进行数据爬取的情况下，如果同一段ip同时访问网站很可能触碰网站的反爬机制造成ip被封，无法请求目标网站，这时候代理ip就派上用场了。代理ip设计整体思路：1：爬取提供代理ip的网站2：检测爬取到的ip是否可用3：将可用的ip存入数据库（同时检测数据库中是否已存在该ip）4：调用接口，从数据库中获取ip（同时检查数据库ip的数量，若数量小于5条，就重复以上步骤）5：若获...
2019-02-21 19:56:12
564
原创 Python使用scrapy框架小结
本文章主要介绍scrapy的基本使用方法，介绍框架结构及安装。1 整个项目的构成2 一个完整的项目设计四个python文件的编写，分别是items.py、qutoes_spider.py（scrapy genspider qutoes_spider.py jycinema.com后生成，非系统自带）、settings.py、pipelines.py四个文件对应2个HOW、1个...
2019-02-21 19:13:19
240
原创 Python关于flask 入门教程
flask 入门"""封装安装 pip install flask了解flask框架组成安装flask时 其依赖的相关包也会安装""""""flask 核心代码 方法封装Jinjia2 :前端渲染值的语法MarkupSafe：前端特殊字符的转义，防止后端渲染时出现问题itdangerous ：加密和安全工具Werkzeug ：德语，http协议封装"""##
2018-11-30 21:08:41
147
原创 MangoDB安装教程
mongodb安装##介绍mongodb是一个流行的nosql数据库，not only sql，介于非关系型和关系型数据库之间，比sqlite重比mysql轻，入门单独低但教程少，个人程序员和创业公司用的多点优点：1 大量读， 数据库存储内存中，通过一定策略定期持久化到硬盘，在内存中操作，读操作性能高2 内存结构简单，键值对，字典结构直接存 开发效率快3 可扩展性强 灵活缺点：内...
2018-11-29 20:07:19
1509
原创 MySQL安装
mysql8.0.13关系型数据库安装教程*##安装##www.mysql.com/downloadcommunity(社区版)、mysql sever(服务器)打开下载页后，operating system(选择操作系统),选microsoft windows(微软windows系统)-msi microsoft windows installr 是.exe安装包好处，有安装向导，自动...
2018-11-28 20:47:41
140
原创 sqlite基本原理介绍与操作
sqlite 基本介绍引题为什么使用数据库：之前的学习中，我们已经可以存储数据，变量，读写本地文件（txt，csv）.1. 持久化，内存中的变量当程序重启和电脑断电丢失数据，而硬盘可以长时间，持久地存储数据，数据存储到硬盘上的过程叫持久化，2数据库更加专业强大。远比纯文本文档、excel表格强大，增删改查和统计函数。数据库基本概念观察表格、excel表格 ，打开了 学生列表.xls ...
2018-11-14 20:19:39
1723
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人