python
dongdong0071
这个作者很懒,什么都没留下…
展开
-
Scrapy添加IP的方法
1、settings.py中添加下载中间件DOWNLOADER_MIDDLEWARES = { 'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 127, 'lianjia.middlewares.MyproxiesSpiderMiddleware': 126,}2、middlewares.p...原创 2018-03-04 17:16:32 · 9797 阅读 · 0 评论 -
Scrapy添加用户代理的方法
参考:http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/downloader-middleware.html#id21、settings.py中添加下载中间件DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 12...原创 2018-03-04 16:56:50 · 826 阅读 · 0 评论 -
Python查北京天气预报
import requestsr = requests.get('http://www.weather.com.cn/data/sk/101010100.html')r.encoding = 'utf-8'print(r.text)原创 2018-02-05 14:06:42 · 639 阅读 · 0 评论 -
聚合数据api接入-Python版本
#!/usr/bin/python# -*- coding: utf-8 -*-import json, urllibfrom urllib.parse import urlencodeimport requestsdef main(): # 配置您申请的APPKey appkey = "624ff8635d4b228de27cd8591ebbf854" myd...原创 2018-02-09 15:54:27 · 721 阅读 · 0 评论 -
.py转换成.exe文件
1、进入到pyinstaller.exe所在的目录;2、在文件路径处输入cmd,进入命令行;3、执行命令:pyinstaller -F c:\...\your_python_file.py原创 2018-01-17 15:16:08 · 352 阅读 · 0 评论 -
Python的多线程
多线程和多进程是什么自行google补脑 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂。所以,这里力图用简单的例子,让你对多线程有个初步的认识。 单线程 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事儿,那么一定要先排一下顺序。(好吧!我们不纠结在DOS时代是否有听音乐和转载 2018-01-14 17:54:10 · 313 阅读 · 0 评论 -
爬虫代码1
#CrawUnivRankingB.pyimport requestsfrom bs4 import BeautifulSoupimport bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r转载 2017-12-25 20:58:59 · 211 阅读 · 0 评论 -
python笔记
1、from import和 import 区别:from import : 从车里把矿泉水拿出来,给我import : 把车给我转载 2017-10-17 11:25:05 · 178 阅读 · 0 评论 -
Pycharm基本使用
在Pycharm下为你的Python项目配置Python解释器Project:当前项目名>Project Interpreter>add Local在Pycharm下创建Python文件、Python模块File>New>Python FileFile>New>Python Package使用Pycharm安装Python第三方模块Project:当前项目名>Pro转载 2017-09-26 23:18:00 · 1505 阅读 · 0 评论 -
转自网易云课堂scrapy爬虫--------请求方式爬虫
转载 2018-03-04 19:41:11 · 385 阅读 · 0 评论