- 博客(5)
- 收藏
- 关注
RSS订阅转载 python 分布式参考
Celery 运行在不同的server上 https://www.jianshu.com/p/6481e6ee7214celery，分布式rabbitMQ中间，多server参考。 python分布式进程（windows下） 小型分布式，多server参考。https://blog.csdn.net/lilong117194/article/details/7...
2018-08-30 16:11:01
654
转载 记录python mongdb操作
#!/usr/bin/env python# -*- coding:utf-8 -*-from pymongo import MongoClientsettings = { "ip":'192.168.0.113', #ip "port":27017, #端口 "db_name" : "mydb", #数据库名字 "set_na...
2018-05-23 15:59:03
186
原创 用python爬取微信公众号内容存到txt【2】多线程版本
上一次用的非多线程版本，这次我会把取地址和标题作为一个线程。得到的地址分析取得地址内容作为第二个线程。然后并行运行。想看上一个版本在我博客。这里是链接。点击打开链接需要的库：import requestsimport timefrom bs4 import BeautifulSoupimport queueimport threading上一章讲的header头什么的就不多重复了。这里主要...
2018-05-09 15:43:29
612
1
原创 用python爬取微信公众号内容存到txt【1】非多线程版本
因为微信公众号可以在搜狗里面搜索到，所以我们就用搜狗微信搜里面进行爬取。先看我们需要的库import requestsimport timefrom bs4 import BeautifulSoup然后我们需要header头所以。要给他一个。怎么获取呢，网上很多。head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWe...
2018-05-08 20:49:23
1232
1
原创 用python自动爬取糗事百科并存到firebase
需要导入的库import requestsfrom bs4 import BeautifulSoupfrom firebase import firebase需要的header头和firebase前期处理：headers = { 'Host':'www.qiushibaike.com', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW...
2018-05-06 12:42:12
542
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人