2018年03月_Mr_lee_long

原创将scrapy框架爬取的数据保存到MongoDB中

以爬取豆瓣网为例子，使用scrapy框架爬取豆瓣网电影排行榜，并将数据保存到MongoDB中。首先，创建项目 scrapy startproject doubantree一下进入到spider目录，scrapy genspider doubanSpider.├── douban│ ├── __init__.py│ ├── __pycache__│ │ ├── __init_...

2018-03-24 20:37:38 5497

原创 python爬虫实例——用scarpy框架爬取全部新浪新闻

使用scrapy框架爬取新浪网导航页所有的大类，小类的子链接，取出链接页面新闻内容。python版本3.5注意点：spider文件中不写allowed domains,因为后面的子链接的url中跟不包含new.sina.com爬虫运行报错：DEBUG: Filtered offsite request to 'weixin.sogou.com'报错原因：官方对这个的解释，是要request的地址和...

2018-03-24 16:56:23 4831

原创写一个python定时发送消息的脚本——每天跟你女盆友说晚安

首先你要有个女朋友效果需要安装几个包pip install wxpypip install wechat_senderpip install requests代码如下from __future__ import unicode_literalsfrom threading import Timerfrom wxpy import *from wechat_sender import Sen...

2018-03-24 17:43:49 12265 4

原创小程序开发（一）——准备工作

首先到微信公众平台下载微信开发者工具地址：https://mp.weixin.qq.com/ 打开网页往下拉，看到小程序点进去。拉，看到小程序点进去。然后找到开发者工具。下载——选择自己的系统环境。完成安装。下载完成后我们先不要急着下一步操作。此时我们暂定一下去GitHub下载一个东西-weui。这个东西就相当于前段中的bookstrap，能简化我们的操作。然后我们可以打开我们的开发者工具创...

2018-03-21 19:36:17 381

原创 Python爬虫面试常见问题

Python爬虫面试常见问题2018-03-12 莫航 Python达人课堂是否了解线程的同步和异步？1线程同步：多个线程同时访问同一资源，等待资源访问结束，浪费时间，效率低 2线程异步：在访问资源时在空闲等待时同时访问其他资源，实现多线程机制是否了解网络的同步和异步？1同步：提交请求->等待服务器处理->处理完毕返回这个期间客户端浏览器不能干任何事2异步：请求通过事件触发-&gt...

2018-03-12 22:05:30 724

原创 python基础回顾---时间模块

#calendar日历模块import calendar#calendar() 获取一年的日历#result = calendar.calendar(2018,w = 2,l = 1,c = 6,m = 3)#print(result)#month() 获取制定月份的日历#result = calendar.month(2017,11,w = 4,l =3)#print(res...

2018-03-12 20:48:43 178

原创 Python 日期时间处理模块学习笔记

来自：标点符的《Python 日期时间处理模块学习笔记》Python的时间处理模块在日常的使用中用的不是非常的多，但是使用的时候基本上都是要查资料，还是有些麻烦的，梳理下，便于以后方便的使用。关于时间需要先了解的几个概念：秒在1967年的第13届国际度量衡会议上决定以原子时定义的秒作为时间的国际标准单位：铯133原子基态的两个超精细能阶间跃迁对应辐射的9,192,631,770个周期的持续时间,...

2018-03-10 16:30:45 289

原创用python itchat写一个微信机器人自动回复

首先看一下效果：进入正题：一、首先要去图灵机器人网站注册一个机器人账号：链接：http://www.tuling123.com/你可以获取自己的图灵机器人apikey懒得话不注册也可以，我下面的代码里面有我自己的，照样可以用。^_^二、好了，开始上代码。先导入两个包，没有的要先下载安装。直接命令pip install itchat，不出意外就OK。 import itchatimport r...

2018-03-07 16:40:53 2209

原创 python文件相关操作

fp = open('boy.txt','w')fp.write("什么时候你发现自己老了，当你发现卫生纸越来越耐用的时候")fp.close()fp = open('boy.txt','r')a = fp.read()print(a)fp.close()# 小实例while True: username = input("请输入你的名字：【exit退出】") ...

2018-03-02 14:30:09 180

原创列表、字典笔记

var = ['爷爷','奶奶','二奶奶']var[1] = '三奶奶'del var[1]# 不能添加元素# 列表推导式var = [1,2,3,4,5,6,7,8,9]r = [i*3 for i in var]print(r)r = [i for i in var if i%2==0]print(r)# 多循环列表推导式st = ['a','b','c','d'...

2018-03-02 14:10:32 183

原创 Python字符串相关操作--简洁易懂

s = "go,Go fire - IN hOlE 123"print(s.capitalize()) # 首字母大写print(s.title()) # 每个单词首字母大写print(s.upper()) # 将所有字母转为大写print(s.lower()) # 将所有字母转为小写print(s.swapc...

2018-03-02 11:40:09 196

原创一看就懂得python数学模块

# 数学相关模块import mathr = math.floor(3.2) # 向下取整print(r)r = math.ceil(4.5) # 向上取整print(r)r = round(3.4999) # 四舍五入print(r)r = math.pow(3,4) # =3**4print(r)r = math.sqrt(25) # 开...

2018-03-02 10:34:45 1453

原创用python写一个查看微信撤回消息的小功能

import reimport timeimport itchatfrom itchat.content import *@itchat.msg_register([TEXT, PICTURE, MAP, CARD, NOTE, SHARING, RECORDING, ATTACHMENT, VIDEO])def text_reply(msg): print(msg['Tex...

2018-03-01 18:24:52 4704 1

weixin_41048363的博客