爬虫
榴莲Xtt
迷失在南京的码农,目前主要从事于Go后端开发,k8s相关开发,微服务落地等。
展开
-
importError:No module named 'urllib2' in Python 3.x
importError:No module named 'urllib2' in Python 3.x原创 2016-05-25 13:22:07 · 378 阅读 · 0 评论 -
爬取网络图片并下载到本地
#-*- coding: utf-8 -*-import requests from bs4 import BeautifulSoup# 采用代理,否则打开不了网页 proxies = {"http": "207.62.234.53:8118"}# 加上请求头,模拟浏览器访问,防止被发现是爬虫,需要的时候加入cookie headers = { 'User-Agent': 'Mozilla/原创 2016-11-08 08:51:13 · 1369 阅读 · 0 评论 -
有关爬虫浏览量的问题
昨天写了一个小爬虫,来爬取58上面商品的浏览量,在58上,商品信息分个人和商家,在爬取个人的商品浏览量时,做一些标签位置的分析,就可以定位到浏览量,但是在运行中出现了错误,原来里面含有商家商品,商家商品浏览量和个人不太一样,浏览量的抓取做了反爬虫,上面的做法,无法爬取,后来我做了一些简单的分析。打开chrome的检查, Counter58.userlist[0]={uid:’0’,uname:”,原创 2016-11-08 16:04:20 · 1751 阅读 · 6 评论