- 博客(5)
- 收藏
- 关注
RSS订阅原创 爬取高德地图全国poi的爬虫
基于python3.6的爬取高德全国poi数据的爬虫,稳定性更高,爬取效率更快,由于高德poi的数据量比较大，这里使用了mongodb和Elasticsearch作为存储，只需要修改key值和types种类即可,每个种类都是遍历全国的抓取.https://github.com/kenneth663/gaode_spider详细代码...
2019-01-17 16:05:02
9319
9
原创 关于MySQL安装失败的解决办法
由于MySQL不在支持python3.6， 我在mac系统下按照解决方法折腾了半天都没有用，后来在stack看到这么一个解决办法import pymysql as MySQLdb# Open database connectiondb = MySQLdb.connect("localhost","root","root","test" )# prepare a cursor obje...
2018-10-15 18:15:58
233
原创 爬取猫眼电影评分TOP100
操作系统：macospython版本：3.6现在查看猫眼电影的页面真实页面源码会自动跳转， 可以在火狐浏览器中查看开发者模式的Network监听组件中查看源码根据源码来编写的正则表达式（'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?s...
2018-07-18 21:48:15
1373
原创 利用Python爬取QQ好友头像
开发环境：macos python版本： 2.7import osimport shutilimport httplib2dir = 'QQHeadPhotos2/'try: os.makedirs(dir)except: shutil.rmtree(dir) os.makedirs(dir)fp = open('qqlist.text', 'r'...
2018-07-18 21:46:40
1632
原创 Beautiful Soup 关联选择中的父节点和祖先节点、兄弟节点、提取信息
Python 用Beautiful Soup解析选择的节点元素# 子节点和子孙节点html = """<html><head><title>The Dormouse's story</title></head><body><p class="story"&
2018-07-18 21:36:45
14509
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人