爬虫
文章平均质量分 81
lllwxy
这个作者很懒,什么都没留下…
展开
-
一个简单的爬虫(二)
这个是第二爬虫,主要实现的是每日更新数据抓取新进入的评价。具体是这样的,我们需要美团每日的最新评价,也就是过去评价的不需要抓了。 上代码,核心代码。 #!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2 import requests import time,datetime import MySQLdb from lxml imp原创 2016-09-06 13:26:45 · 774 阅读 · 0 评论 -
一个简单的爬虫(一)
这段代码是抓取点评上海所有没发门店的,大概是有16000多家门店,代码很简单,上代码。 #-*-coding:utf-8 -*- import requests import socket import MySQLdb import datetime import time from lxml import etree import random from UserAgent import u原创 2016-09-05 19:08:43 · 1227 阅读 · 2 评论 -
python百度经纬度转google经纬度
因为公司项目需要遇到了这个问题。转完后几乎是完美的,本来打算用3方API的,一个月大概是600块,20W次,省钱了。 import math class CoordinateConversion: def __init__(self): self.x_pi = 3.14159265358979324 * 3000.0 / 180.0 self.pi =原创 2016-12-14 14:18:59 · 1553 阅读 · 0 评论