- 博客(22)
- 收藏
- 关注
RSS订阅原创 Scrapyd服务及其应用
Scrapyd 是一个用于部署和运行 Scrapyd 项目的工具，可以依靠它将 Scrapy 项目上传到云主机并通过 API 来控制它的运行。1. pip 安装该服务pip3 install Scrapyd2. 配置服务( centos7下 )，1.2版本默认没有配置文件，需自行创建mkdir /etc/scrapydvim /etc/scr...
2018-06-25 20:15:00
225
原创 asyncio 异步请求（涉及python 3.5 新引用语法）
asyncio 异步请求（python 3.5 新引用语法）python 3.4 引入了协程的概念。在 python 3.5 中确定了协程的语法event_loop 事件循环：程序开启一个无限的循环，程序员会把一些函数注册到事件循环上。当满足事件发生的时候，调用相应的协程函数。coeoutine 协程：协程对象，指一个使用 async 关键字定义的...
2018-06-20 23:00:00
768
原创 requests请求状态保持-登录github为例
模拟登录-状态保持 ---- 以登录 github 为例1 .页面分析：登录页 ( https://github.com/login ) 网页源代码能找到 form 表单的提交方式是 post 请求，登录账号并且打开 Chrome 浏览器的调试工具 ( F12 - Network - all ) 查看提交请求,能到以下信息提交数据为...
2018-06-20 22:55:00
1438
原创 爬虫异常，邮件提醒
需求：当爬虫出现故障时，第一时间来通知维护人员。采用邮件的方式告知。python 对Smtp协议支持的的smtplib和email模块email负责构造邮件smtplib负责发送邮件from email.header import Headerfrom email.mime.text import MIMETextfrom email....
2018-06-17 21:58:00
407
原创 协程的理解（二）-python3.4中asyncio
asyncio 是Python3.4引入的标准库，直接内置了对异步IO的支持。asyncio 的编程模型是一个消息循环，从 asyncio 模块中获取一个 EventLoop 的引用，然后把需要执行的协程扔到 EventLoop 中执行，就实现了异步IO。当处理流出现IO阻塞时，线程并不会等待IO操作执行完，而是去EventLoop中执行下一个协程。...
2018-06-15 16:57:00
578
原创 [转]并发和并行有什么区别
做并发编程之前，必须首先理解什么是并发，什么是并行，什么是并发编程，什么是并行编程。并发（concurrency）和并行（parallellism）是：解释一：并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。解释二：并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。解释三：在一台处理器上“同时”处理多...
2018-06-15 14:05:00
112
原创 （转）深刻理解Python中的元类(metaclass)以及元类实现单例模式
原文出处：https://www.cnblogs.com/tkqasn/p/6524879.html
2018-06-15 09:57:00
103
原创 协程的理解（一）
通过廖雪峰的Python3学习教程网站学习与整理以下内容。原文地址：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432090171191d05dae6e129940518d1d6cf6eeaaa969000概念协程，英文名...
2018-06-15 09:51:00
258
原创 线程
语法多线程工作在单进程下。在多线程模式下，数据变量是被所有线程共享的。1.创建线程import threadingdef runFunc1(a): for i in range(10): print('func1' ,int(a) + i)def runFunc2(b): for i in range(4):...
2018-06-14 20:27:00
73
原创 Centos7中Chrome浏览器的桌面快捷方式
安装不细说：安装linux版（rpm包）chrome链接：https://pan.baidu.com/s/1xRqXwpsfDz0r745k2lZ2Vg 密码：hxbg安装相关依赖组件设置chrome浏览器桌面快捷方式vim /usr/share/application/chrome.desktop#!/usr/bin/env xdg-ope...
2018-06-14 19:58:00
2888
原创 生成器
在Python中，这种一边循环一边计算生成的机制，称为 生成器 ：generator。生成器的好处是延迟计算，一次返回一个结果。也就是说，它不会一次生成所有的结果，这对于大数据量处理，将会非常有用。1.典型的生成器：元组生成式。a = (i for i in range(10))print(a)# 返回值：# <generator obj...
2018-06-14 15:50:00
83
原创 迭代理解
对于给定的对象，如果可以通过 for 循环来遍历整个对象。这种遍历我们称为迭代。这类对象我们称为可迭代对象。可以通过 collections 模块的 Iterable 进行类型判断：Iterable :表示可迭代数据类型。isinstance:是判断指定变量是否为指定的数据类型，返回值为布尔值。代码如下：from collecti...
2018-06-14 14:22:00
670
原创 Requests 高级用法
1. 文件上传使用 post 请求提交数据import requests# 文件上传 post请求file = {'file': open('./uploadfile.png', 'rb')}print("开始请求")res = requests.post('http://httpbin.org/post', files=file)res =...
2018-06-13 16:29:00
500
2
原创 selenium 爬取淘宝列表页
爬取目标：网站：淘宝指定商品的列表页解析目标：商品图片商品名称价格购买人数店铺名称店铺地址（城市）存储：mongo 数据库项目思路：由于淘宝的列表页采用 js 加载的数据，直接发 requests 请求有些麻烦，故采用 selenium 的请求方式淘宝单个品类的列表均为100页，故采用循环100次的方式每次都首先请求...
2018-06-13 10:45:00
559
原创 多进程下使用Queue队列报错
原项目在未加入多进程模块的情况下，queue模块导入生成的队列能正常使用。但是加入多进程后，执行报错 TypeError: can't pickle _thread.lock objects网上查阅资料:将 from queue import Queue 修改为 from multiprocessing import Queue 即可修复该bug。...
2018-06-13 10:20:00
1414
原创 selenium 的css选择器语法
参考原文地址：https://saucelabs.com/resources/articles/selenium-tips-css-selectors基础子级元素在 css 选择器中使用 > 表示父子关系，父级在左，子级在右。xpath中的 / 语法,与之相对应 。div > a 表示 div 标签子级元素中的 a 标签。...
2018-06-12 21:01:00
496
原创 beautiful soup解析
find(tag, attributes, recursive, text, keywords)find：匹配从上到下第一个出现的值findAll(tag, attributes, recursive, text, limit, keywords)findAll方法 参数说明：tag：传入一个标签的名称或多个标签名组成的 python 列表...
2018-06-12 14:50:00
150
原创 mongoDB 创建用户并赋权限
创建用户以下内容是在linux的命令行中执行# 查看 mongod 服务的状态systemctl status mongod# 开启 mongod 服务systemctl start mongod# 设置 mongod 服务开机自启systemctl enable mongod# 确认mongod服务已开启成功后，进入 mongoDB 命...
2018-06-12 00:58:00
1362
原创 mongodb rpm 安装文档
因需要用到mongo数据库，但是按照网上大多数的教程的做法——新建.repo文件。yum安装时出现了timeout的报错。环境：centos7下载rpm包（两种方式皆可）：RPM包地址：http://repo.mongodb.org/yum/redhat/7Server/mongodb-org/3.4/x86_64/RPMS（在上述网站上下载对应...
2018-06-11 23:44:00
1523
原创 Selenium模块及相关浏览器驱动安装
selenium安装方法一：pip安装pip3 install selenium方法二：wheel安装官方下载地址：https://pypi.org/project/selenium/#files选择 selenium-3.12.0-py2.py3-none-any.whl 下载（版本可能更新，自行选择后缀为.whl文件）进入文件下...
2018-06-06 22:10:00
175
原创 爬取今日头条街拍数据，练习ajax数据爬取
今日头条街拍数据：获取页面：https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D的页面中的ajax加载的数据。经过分析页面时数据流的形式展现数据，在浏览器 F12 - Network选项 - XHR中查看到ajax的请求信息，其中 request url为：https://www.to...
2018-06-06 20:43:00
265
原创 win10安装mysql在安装界面报错，后无法正常启动
建议的修复：12.同时进入开始 - >控制面板 - >管理工具 - >服务 - >找到MySQL56，右键点击它 - >属性 - >选择登录选项卡，这里是错误 - >尽管本地系统帐户被选中，此帐户：已选择网络服务（使用某些密码） - >选择以本地系统帐户登录，允许服务与桌面交互 - >应用 - >...
2018-06-05 22:49:00
419
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人