![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
dongdong0071
这个作者很懒,什么都没留下…
展开
-
Scrapy添加IP的方法
1、settings.py中添加下载中间件DOWNLOADER_MIDDLEWARES = { 'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 127, 'lianjia.middlewares.MyproxiesSpiderMiddleware': 126, }2、middlewares.p...原创 2018-03-04 17:16:32 · 9796 阅读 · 0 评论 -
Scrapy添加用户代理的方法
参考:http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/downloader-middleware.html#id21、settings.py中添加下载中间件DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 12...原创 2018-03-04 16:56:50 · 824 阅读 · 0 评论 -
Python查北京天气预报
import requests r = requests.get('http://www.weather.com.cn/data/sk/101010100.html') r.encoding = 'utf-8' print(r.text)原创 2018-02-05 14:06:42 · 639 阅读 · 0 评论 -
聚合数据api接入-Python版本
#!/usr/bin/python # -*- coding: utf-8 -*- import json, urllib from urllib.parse import urlencode import requests def main(): # 配置您申请的APPKey appkey = "624ff8635d4b228de27cd8591ebbf854" myd...原创 2018-02-09 15:54:27 · 721 阅读 · 0 评论 -
.py转换成.exe文件
1、进入到pyinstaller.exe所在的目录; 2、在文件路径处输入cmd,进入命令行; 3、执行命令:pyinstaller -F c:\...\your_python_file.py原创 2018-01-17 15:16:08 · 351 阅读 · 0 评论 -
Python的多线程
多线程和多进程是什么自行google补脑 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂。所以,这里力图用简单的例子,让你对多线程有个初步的认识。 单线程 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事儿,那么一定要先排一下顺序。 (好吧!我们不纠结在DOS时代是否有听音乐和转载 2018-01-14 17:54:10 · 312 阅读 · 0 评论 -
爬虫代码1
#CrawUnivRankingB.py import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r转载 2017-12-25 20:58:59 · 210 阅读 · 0 评论 -
python笔记
1、from import和 import 区别: from import : 从车里把矿泉水拿出来,给我 import : 把车给我转载 2017-10-17 11:25:05 · 177 阅读 · 0 评论 -
Pycharm基本使用
在Pycharm下为你的Python项目配置Python解释器 Project:当前项目名>Project Interpreter>add Local 在Pycharm下创建Python文件、Python模块 File>New>Python FileFile>New>Python Package 使用Pycharm安装Python第三方模块 Project:当前项目名>Pro转载 2017-09-26 23:18:00 · 1504 阅读 · 0 评论 -
转自网易云课堂scrapy爬虫--------请求方式爬虫
转载 2018-03-04 19:41:11 · 384 阅读 · 0 评论