自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

北游的日常

每个人都要相信自己的力量,相信未来。

  • 博客(22)
  • 收藏
  • 关注

原创 Scrapyd服务及其应用

Scrapyd 是一个用于部署和运行 Scrapyd 项目的工具,可以依靠它将 Scrapy 项目上传到云主机并通过 API 来控制它的运行。1. pip 安装该服务pip3 install Scrapyd2. 配置服务( centos7下 ),1.2版本默认没有配置文件,需自行创建mkdir /etc/scrapydvim /etc/scr...

2018-06-25 20:15:00 225

原创 asyncio 异步请求(涉及python 3.5 新引用语法)

asyncio 异步请求(python 3.5 新引用语法)python 3.4 引入了协程的概念。在 python 3.5 中确定了协程的语法event_loop 事件循环:程序开启一个无限的循环,程序员会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。coeoutine 协程:协程对象,指一个使用 async 关键字定义的...

2018-06-20 23:00:00 768

原创 requests请求状态保持-登录github为例

模拟登录-状态保持​ ---- 以登录 github 为例1 .页面分析:登录页 ( https://github.com/login ) 网页源代码能找到 form 表单的提交方式是 post 请求,登录账号并且打开 Chrome 浏览器的调试工具 ( F12 - Network - all ) 查看提交请求,能到以下信息提交数据为...

2018-06-20 22:55:00 1438

原创 爬虫异常,邮件提醒

需求:当爬虫出现故障时,第一时间来通知维护人员。采用邮件的方式告知。python 对Smtp协议支持的的smtplib和email模块email负责构造邮件smtplib负责发送邮件from email.header import Headerfrom email.mime.text import MIMETextfrom email....

2018-06-17 21:58:00 407

原创 协程的理解(二)-python3.4中asyncio

asyncio 是Python3.4引入的标准库,直接内置了对异步IO的支持。asyncio 的编程模型是一个消息循环,从 asyncio 模块中获取一个 EventLoop 的引用,然后把需要执行的协程扔到 EventLoop 中执行,就实现了异步IO。当处理流出现IO阻塞时,线程并不会等待IO操作执行完,而是去EventLoop中执行下一个协程。...

2018-06-15 16:57:00 578

原创 [转]并发和并行有什么区别

做并发编程之前,必须首先理解什么是并发,什么是并行,什么是并发编程,什么是并行编程。并发(concurrency)和并行(parallellism)是:解释一:并行是指两个或者多个事件在同一时刻发生;而并发是指两个或多个事件在同一时间间隔发生。解释二:并行是在不同实体上的多个事件,并发是在同一实体上的多个事件。解释三:在一台处理器上“同时”处理多...

2018-06-15 14:05:00 112

原创 (转)深刻理解Python中的元类(metaclass)以及元类实现单例模式

原文出处:https://www.cnblogs.com/tkqasn/p/6524879.html

2018-06-15 09:57:00 103

原创 协程的理解(一)

通过廖雪峰的Python3学习教程网站学习与整理以下内容。原文地址:https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432090171191d05dae6e129940518d1d6cf6eeaaa969000概念协程,英文名...

2018-06-15 09:51:00 258

原创 线程

语法多线程工作在单进程下。在多线程模式下,数据变量是被所有线程共享的。1.创建线程import threadingdef runFunc1(a): for i in range(10): print('func1' ,int(a) + i)def runFunc2(b): for i in range(4):...

2018-06-14 20:27:00 73

原创 Centos7中Chrome浏览器的桌面快捷方式

安装不细说:安装linux版(rpm包)chrome链接:https://pan.baidu.com/s/1xRqXwpsfDz0r745k2lZ2Vg 密码:hxbg安装相关依赖组件设置chrome浏览器桌面快捷方式vim /usr/share/application/chrome.desktop#!/usr/bin/env xdg-ope...

2018-06-14 19:58:00 2888

原创 生成器

在Python中,这种一边循环一边计算生成的机制,称为 生成器 :generator。生成器的好处是延迟计算,一次返回一个结果。也就是说,它不会一次生成所有的结果,这对于大数据量处理,将会非常有用。1.典型的生成器:元组生成式。a = (i for i in range(10))print(a)# 返回值:# <generator obj...

2018-06-14 15:50:00 83

原创 迭代理解

对于给定的对象,如果可以通过 for 循环来遍历整个对象。这种遍历我们称为迭代。这类对象我们称为可迭代对象。可以通过 collections 模块的 Iterable 进行类型判断:Iterable :表示可迭代数据类型。isinstance:是判断指定变量是否为指定的数据类型,返回值为布尔值。代码如下:from collecti...

2018-06-14 14:22:00 670

原创 Requests 高级用法

1. 文件上传使用 post 请求提交数据import requests# 文件上传 post请求file = {'file': open('./uploadfile.png', 'rb')}print("开始请求")res = requests.post('http://httpbin.org/post', files=file)res =...

2018-06-13 16:29:00 500 2

原创 selenium 爬取淘宝列表页

爬取目标:网站:淘宝指定商品的列表页解析目标:商品图片商品名称价格购买人数店铺名称店铺地址(城市)存储:mongo 数据库项目思路:由于淘宝的列表页采用 js 加载的数据,直接发 requests 请求有些麻烦,故采用 selenium 的请求方式淘宝单个品类的列表均为100页,故采用循环100次的方式每次都首先请求...

2018-06-13 10:45:00 560

原创 多进程下使用Queue队列报错

原项目在未加入多进程模块的情况下,queue模块导入生成的队列能正常使用。但是加入多进程后,执行报错 TypeError: can't pickle _thread.lock objects网上查阅资料:将 from queue import Queue 修改为 from multiprocessing import Queue 即可修复该bug。...

2018-06-13 10:20:00 1414

原创 selenium 的css选择器语法

参考原文地址:https://saucelabs.com/resources/articles/selenium-tips-css-selectors基础子级元素在 css 选择器中使用 > 表示父子关系,父级在左,子级在右。xpath中的 / 语法,与之相对应 。div > a 表示 div 标签子级元素中的 a 标签。...

2018-06-12 21:01:00 496

原创 beautiful soup解析

find(tag, attributes, recursive, text, keywords)find:匹配从上到下第一个出现的值findAll(tag, attributes, recursive, text, limit, keywords)findAll方法 参数说明:tag:传入一个标签的名称或多个标签名组成的 python 列表...

2018-06-12 14:50:00 150

原创 mongoDB 创建用户并赋权限

创建用户以下内容是在linux的命令行中执行# 查看 mongod 服务的状态systemctl status mongod# 开启 mongod 服务systemctl start mongod# 设置 mongod 服务开机自启systemctl enable mongod# 确认mongod服务已开启成功后,进入 mongoDB 命...

2018-06-12 00:58:00 1362

原创 mongodb rpm 安装文档

因需要用到mongo数据库,但是按照网上大多数的教程的做法——新建.repo文件。yum安装时出现了timeout的报错。环境:centos7下载rpm包(两种方式皆可):RPM包地址:http://repo.mongodb.org/yum/redhat/7Server/mongodb-org/3.4/x86_64/RPMS(在上述网站上下载对应...

2018-06-11 23:44:00 1523

原创 Selenium模块及相关浏览器驱动安装

selenium安装方法一:pip安装pip3 install selenium方法二:wheel安装官方下载地址:https://pypi.org/project/selenium/#files选择 selenium-3.12.0-py2.py3-none-any.whl 下载(版本可能更新,自行选择后缀为.whl文件)进入文件下...

2018-06-06 22:10:00 175

原创 爬取今日头条街拍数据,练习ajax数据爬取

今日头条街拍数据:获取页面:https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D的页面中的ajax加载的数据。经过分析页面时数据流的形式展现数据,在浏览器 F12 - Network选项 - XHR中查看到ajax的请求信息,其中 request url为:https://www.to...

2018-06-06 20:43:00 265

原创 win10安装mysql在安装界面报错,后无法正常启动

建议的修复:12.同时进入开始 - >控制面板 - >管理工具 - >服务 - >找到MySQL56,右键点击它 - >属性 - >选择登录选项卡,这里是错误 - >尽管本地系统帐户被选中,此帐户:已选择网络服务(使用某些密码) - >选择以本地系统帐户登录,允许服务与桌面交互 - >应用 - &gt...

2018-06-05 22:49:00 419

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除