ITMAN009的博客

python全面扫盲

优秀代码记录备用

# -*- coding: utf-8 -*-import jsonimport urllibimport mathx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 偏心率平方class Geocoding: def __init__(self, api_key):

middlewares.py ------------------------------------------------# Define here the models for your spider middleware## See documentation in:# https://docs.scrapy.org/en/latest/topics/spider-middleware.htmlfrom scrapy import signals# useful for handli

xu = 6370996.81Sp = [1.289059486E7, 8362377.87, 5591021, 3481989.83, 1678043.12, 0]Hj = [75, 60, 45, 30, 15, 0]Au = [[1.410526172116255e-8,0.00000898305509648872,-1.9939833816331,200.9824383106796,-187.2403703815547,91.6087516669843,-23.38765649603339

settings.py --------------------------------------------# Scrapy settings for mapbarSpider project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the documentation:##

piplelines.py -------------------------------# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item ty

mapbar.py 爬虫文件--------------------------------import scrapyfrom mapbarSpider.items import AddressItemfrom copy import deepcopyfrom mapbarSpider.geocode_2 import BaiDuMercatorToWgs84from mapbarSpider.geocode import Geocodingimport json#全国各城市地名抓取，包含街道

run.py 位置根settings.py同级别-----------------------------------from scrapy.cmdline import executeimport sysimport os# 获取当前脚本路径dirpath = os.path.dirname(os.path.abspath(__file__))print(dirpath)# 添加环境变量sys.path.append(dirpath)# 启动爬虫,第三个参数为爬虫nameexecute

#获取百度地图POI数据一（详解百度返回的POI数据） http://lbsyun.baidu.com/index.php?title=webapi 数据量标准可以参看 http://lbsyun.baidu.com/apiconsole/key#/home 额度管理=>开发者权益 余慕白 博客 https://www.cnblogs.com/yumubaime/p/7172954.html1.模拟HTTP请求的方式获取其上的POI数据 打开网页的调试面板可以清楚的看到这些请求 ，以及服务器

def download_urls(url_and_path_list, num_concurrent, skip_existing): # prepare the queue queue = Queue.Queue() for url_and_path in url_and_path_list: queue.put(url_and_path)# sta...

Python3爬虫与多线程文章来源：企鹅号 - 你收到一封新邮件本文按如下内容组织：# 介绍这个爬虫的目的、模块，创造原始单线程爬虫# 对这个爬虫进行改造，创造多线程爬虫一、爬虫功能介绍文章标题取的是《Python爬虫与多线程》，而不是《Python多线程爬虫》，因为爬虫的目的是为了获取数据而非炫技。即使没有多线程，单线程的爬虫也可以完成任务，大不了电脑不关放一夜跑（做量化回测中常有的事）。下面就...

Python的MySQLdb模块是Python连接MySQL的一个模块，默认查询结果返回是tuple类型，只能通过0,1…等索引下标访问数据默认连接数据库：复制代码 代码如下:MySQLdb.connect( host=host, user=user, passwd=passwd, db=db, port=port, ...

scrapy crawl baidu -a taskname=“台北” -a bound="{“left”: 116.29203277476964,“right”: 116.318“: 39.77001007727141,“bottom”: 39.74890812939301}” -a seed=“136.2,36.44”class QiubaiSpider(scrapy.Spider):...

1、数据库连接# 连接配置信息 config = { 'host':'127.0.0.1', 'port':3306, 'user':'root', 'password':'root', 'db':'db', 'charset':'utf8mb4', 'cursorclass':pymysql.cursor...

我们有这样一个需求：要保存二进制文件到数据库，以后还要从数据库读出来使用。到网上g了一下，发现可以实现，记录以备忘。coding: utf8Python2.6.2import sqlite3db = sqlite3.connect(‘test.db’)cur = db.cursor()cur.execute(“CREATE TABLE if not exists t (b BLOB);...

今天，我在做项目（用Python语言存double，datetime类型数据）遇到一个问题，刚开始想的很复杂，一想Python没有double类型数据，怎么插呢？网上资料也少，几乎找不到。sql = “INSERT INTO EMPLOYEE(FIRST_NAME,LAST_NAME, AGE, SEX, INCOME) VALUES (%s, %s, %s, %s, %s )” %(‘Mac’...

# -*- coding: utf-8 -*-import jsonimport urllibimport mathx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 偏心率平方...

Logging¶Scrapy提供了log功能。您可以通过scrapy.log 模块使用。当前底层实现使用了 Twisted logging ，不过可能在之后会有所变化。log服务必须通过显示调用 scrapy.log.start() 来开启。Log levels¶Scrapy提供5层logging级别:CRITICAL - 严重错误(critical)ERROR - 一般错误(...

Define your item pipelines herefrom scrapy import logfrom twisted.enterprise import adbapiimport MySQLdb.cursorsimport timeimport sqlite3Database storage pipeline. Adapted from Scrapy docsCon...

scrapy 爬取到结果后，将结果保存到 sqlite3，有两种方式item PipelineFeed Exporter方式一使用 item Pipeline 有三个步骤文件 pipelines.py 中，编写 Sqlite3Pipeline 类文件 set...

在上篇文章《python3 + scrapy 爬取妹子图 (meizitu.com)》中，我爬取了妹子图网站的图片，爬取是按照如下思路的：通过首页(http://www.meizitu.com/)，爬取标签名称tag_name和标签链接tag_href通过标签链接，爬取当前标签下全部页面page_list通过页面，爬取当前页面的图片专辑名称album_name和图片专辑链接alb...

import pymysqlfrom scrapy.conf import settingsimport timeimport loggingfrom io import BytesIOimport base64import refrom PIL import Imageimport sqlite3from twisted.enterprise import adbapifro...

去重规则　　在爬虫应用中，我们可以在request对象中设置参数dont_filter = True 来阻止去重。而scrapy框架中是默认去重的，那内部是如何去重的。from scrapy.dupefilter import RFPDupeFilter请求进来以后，会先执行from_settings方法，从settings文件中找一个DUPEFILTER_DEBUG的配置，再执行init初...

python输出日志时的格式化输出日志时的格式化名称 说明%(levelno)s 打印日志级别的数值%(levelname)s 打印日志级别名称%(pathname)s 打印当前执行程序的路径，其实就是sys.argv[0]%(filename)s 打印当前执行程序名%(funcName)s 打印日志的当前函数%(lineno)d 打印日志的当前行号%(asctime)s 打印日...

首先，Base64生成的编码都是ascii字符。其次，python3中字符都为unicode编码，而b64encode函数的参数为byte类型，所以必须先转码。s = "你好"bs = base64.b64encode(s.encode("utf-8")) # 将字符为unicode编码转换为utf-8编码print(bs) # 得到的编码结果前带有 b>>> b'5...

前记Python 的标准库中包含了对 sqlite 这个轻巧的数据库的支持模块，也就是 sqlite3 模块。sqlite 数据库的好处我就不多说了，小型而强大，适合很多小型或者中型的数据库应用。最近在使用 sqlite3 模块遇到一些问题，解决了，顺便就记下来。问题sqlite3 模块的使用很简单，如下这段测试代码，创建一个 person 数据表然后进行一次数据库查询操作。#!/usr...

#把datetime转成字符串def datetime_toString(dt):return dt.strftime("%Y-%m-%d-%H")#把字符串转成datetimedef string_toDatetime(string):return datetime.strptime(string, “%Y-%m-%d-%H”)#把字符串转成时间戳形式def string_toTi...

症状：爬虫对于每个Response都产生了多个Item，系统的吞吐量比期望的要低，并且可能会出现和前一个案例相同的下载器开/关现象。示例：这里我们假设有1000个请求，每个返回的页面有100个Item，响应时间为0.25s，Item在pipeline中的处理时间为3s。分别把CONCURRENT_ITEMS设置成从10到150的值来运行爬虫：for concurrent_items in 10...

在使用Pillow中的Image.save()方法，使用默认参数保存jpg图片的过程中发现图片被压缩的很严重，导致原来很大的大小变成几十K。这是因为在保存为jpg的过程中，内部使用压缩算法对图片进行的压缩处理。但是有些时候往往需要图片的大小不能变化太大或不能太小。所以在使用此方式时可以加入参数：imObj.save(img_name, quality=95)quality参数： 保存图像的质...

windows系统下--------------------- 绝对路径写法 和 相对路径写法(会在项目根目录下进行找寻imgs文件夹) with open('D:\\fgq\\imgs\\' + str(img_name) + '.jpg', 'wb') as f: f.write(r) f.close() ...

前言序锦今天在用scrapy框架运行多爬虫的时候，遇到了一个比较棘手的问题，刚开始进行了各种尝试，却还是不行，最后终于还是找到了原因！正文当我们在cmd中或者PyCharm中使用Terminal输入scrapy crawl lieping（lieping是我项目里的爬虫的名字，name = “lieping”，爬取猎聘网的职位信息），总会报如下的错误：E:\Study\Python...

# 保存图片 def parse_save_tile(self, response): r = response.body with open('D://fgq//baiduimgs//' + str(img_name) + '.png', 'wb') as f: f.write(r) f.close()...

scrapy错误：yieldscrapy.Request()不执行、失效、Filtered offsite request to错误。首先我们在Request（）方法里面添加这么一个东东：yield Request(url, callback=self.parse_item,dont_filter=True)如果发现成功执行，那你就得检查一下你的：allowed_domains，看看前面是...

这里的富文本编辑器以 tinymce 为例。环境：ubuntu 16.04 + django 1.10 + python 2.7ubuntu安装tinymce：python 2.7$ sudo pip install django-tinymcepython 3$ sudo pip3 install django-tinymce1.settings.py...

from django.conf.urls import url#从绝对路径导包会报错# from meiduo.apps.users import viewsfrom . import viewsurlpatterns=[ # url(r'^$ ',views) url(r'^usernames/(?P<username>\w{5,20})/count/$...

之前MySQL服务端本机上使用密码登陆root账号是没有问题的，但是今天不知道是因为动了哪里，登陆失败并有这个错误代码：~$ mysql -u root -pEnter password: ERROR 1698 (28000): Access denied for user 'root'@'localhost'解决步骤：停止mysql服务~$ sudo servic...

Python爬虫学习系列教程 Python 崔庆才  3年前 (2015-02-21)  789675浏览  112评论年度重磅大放送！博主录制的Python3爬虫视频教程出炉啦！！！欢迎大家支持！！！详情请看：Python3爬虫视频学习教程自己动手，丰衣足食！Python3网络爬虫实战案例以下为Python2爬虫系列教程：大家好哈，我呢最近在学习Pytho

import glob, osimport refrom PIL import Imageimport time3328 1664获取指定目录下的文件列表 类似os.listdirfiles = glob.glob(‘D:\fgq\baiduimgs\_**.png’)最后大图的输出目录files_big_pic_path = “D:\fgq\baiduimgsPic\”file...

2018 年 04 月 06 日 18:34 本文 1946 字，阅读全文约需 6 分钟前文提到了合并瓦片图，而瓦片图应用比较多的则是瓦片地图。对地图本就感兴趣的我，也想试试合并互联网地图的某个范围内的地图图层。随着技术的发展，国内的地图服务商相继将地图瓦片更新为矢量瓦片[1]，这下想取到相应的瓦片图，我感觉没那么简单。那还是找个相对简单的，还使用栅格瓦片的地图服务网站来试试。我先想到的是国...