python
文章平均质量分 58
dream8062
这个作者很懒,什么都没留下…
展开
-
python离线安装
python 离线安装(wheel && tar.gz)原创 2022-04-15 16:37:28 · 4685 阅读 · 0 评论 -
Conda&&Pip 使用
python 开发中conda 、pip 使用,一篇就够了原创 2022-04-15 15:31:47 · 3750 阅读 · 0 评论 -
anaconda安装
1.anaconda安装Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包,Anaconda 的下载文件比较大(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和 Python)。win系统安装anaconda安装前准备国内的朋友可以从国内的一些镜像服务器下载,下面是服务器的链接地址:官网地址:https://www.原创 2022-04-15 10:50:50 · 764 阅读 · 0 评论 -
python sqlalchemy 操作mysql密码包含@特殊字符
python sqlalchemy 操作mysql密码包含@特殊字符的处理原创 2022-01-10 22:06:11 · 3442 阅读 · 0 评论 -
Scrapyd部署爬虫
Scrapyd部署爬虫准备工作安装scrapyd: pip install scrapyd安装scrapyd-client : pip install scrapyd-client安装curl:[安装地址](http://ono60m7tl.bkt.clouddn.com/curl.exe),安装完成以后将所在目录配置到环境变量中开始部署转载 2017-12-22 18:05:31 · 488 阅读 · 0 评论 -
scapyd部署出现的问题的解决方案
1. 使用scrapyd-deploy部署时,发现spiders为0的排查,首先用 scrapy list 看一下是否可以识别2. windows下 scrapyd-deploy无后缀文件不能启动:解决方案一:执行命令pip install scrapy-client,安装完成后,在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件,这个scrapyd-depl原创 2017-12-28 18:13:27 · 1125 阅读 · 0 评论 -
从0-1打造最强性能Scrapy爬虫集群
1 项目介绍本项目的主要内容是分布式网络新闻抓取系统设计与实现。主要有以下几个部分来介绍:(1)深入分析网络新闻爬虫的特点,设计了分布式网络新闻抓取系统爬取策略、抓取字段、动态网页抓取方法、分布式结构、系统监测和数据存储六个关键功能。(2)结合程序代码分解说明分布式网络新闻抓取系统的实现过程。包括爬虫编写、爬虫避禁、动态网页数据抓取、部署分布式爬虫、系统监测共六个内容,结合实际定向抓取转载 2017-12-22 18:47:40 · 992 阅读 · 0 评论 -
scrapy的docker部署
Docker环境部署Docker安装: 我使用的是企鹅的云服务器,ubuntu 32位 网上有根多安装教程,我找了个最简单的 sudo apt-get install -y docker.io如果安装成功: docker info 后会出现docker版本信息但是不出所料,肯定没那么顺利 Cannot connect to the Docker daemon.网上查询一转载 2017-12-22 18:17:05 · 2356 阅读 · 0 评论 -
scrapyd远程连接配置
scrapyd远程连接配置安装scrapyd:pip install scrapyd默认scrapyd启动是通过scrapyd就可以直接启动,bind绑定的ip地址是127.0.0.1端口是:6800,这里为了其他主机可以访问,需将ip地址设置为0.0.0.0即将bind_address = 127.0.0.1 改为bind_address转载 2017-12-22 18:10:08 · 3091 阅读 · 0 评论 -
Scrapy可视化管理软件SpiderKeeper
通常开发好的Scrapy爬虫部署到服务器上,要不使用nohup命令,要不使用scrapyd。如果使用nohup命令的话,爬虫挂掉了,你可能还不知道,你还得上服务器上查或者做额外的邮件通知操作。如果使用scrapyd,就是部署爬虫的时候有点复杂,功能少了点,其他还好。SpiderKeeper是一款管理爬虫的软件,和scrapinghub的部署功能差不多,能多台服务器部署爬虫,定时执行爬虫,查看爬转载 2017-12-22 18:08:12 · 2937 阅读 · 1 评论 -
使用Scrapyd部署爬虫
为什么要用Scrapyd?Scrapyd是scrapinghub官方提供的爬虫管理、部署、监控的方案之一,另一个是Scrapy Cloud。官方对它的定义是Scrapy DocScrapyd is an application for deploying and running Scrapy spiders. It enables you to deploy (upload) yo转载 2017-12-22 18:00:50 · 1931 阅读 · 0 评论 -
scrapy的xpath语法
Scrapy是基于python的开源爬虫框架,使用起来也比较方便。具体的官网档:http://doc.scrapy.org/en/latest/ 之前以为了解python就可以直接爬网站了,原来还要了解HTML,XML的基本协议,在了解基础以后,在了解下xpath的基础上,再使用正则表达式(python下的re包提供支持)提取一定格式的信息(比如说url),就比较容易处理网页了。 xp转载 2017-12-20 18:11:04 · 718 阅读 · 0 评论 -
chrome插件 xpath-helper的安装
浏览器地址栏输入:chrome://extensions/点击获取更多程序在应用商店搜索:XPath-Helper点击:添加至CHROME原创 2017-12-20 18:07:54 · 498 阅读 · 0 评论 -
Scrapy简单入门及实例讲解
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy 使转载 2017-12-20 17:46:48 · 817 阅读 · 0 评论 -
Python之自动单元测试之一(unittest使用实例)
Python之自动单元测试之一(unittest使用实例)软件的测试是一件非常乏味的事情,在测试别人编写的软件时尤其如此,程序员通常都只对编写代码感兴趣,而不喜欢文档编写和软件测试这类"没有创新"的工作。既然如此,为什么不让程序员在编写软件时自己加入一些用于测试的代码,使测试过程自动化呢?在软件工程中,这一技术称为自动单元测试,本文介绍在用Python开发软件时如何实现这一目标。一、软转载 2017-12-20 17:40:06 · 382 阅读 · 0 评论