- 博客(5)
- 收藏
- 关注
原创 爬取高德地图全国poi的爬虫
基于python3.6的爬取高德全国poi数据的爬虫,稳定性更高,爬取效率更快,由于高德poi的数据量比较大,这里使用了mongodb和Elasticsearch作为存储,只需要修改key值和types种类即可,每个种类都是遍历全国的抓取. https://github.com/kenneth663/gaode_spider 详细代码 ...
2019-01-17 16:05:02 9388 9
原创 关于MySQL安装失败的解决办法
由于MySQL不在支持python3.6, 我在mac系统下按照解决方法折腾了半天都没有用,后来在stack看到这么一个解决办法 import pymysql as MySQLdb # Open database connection db = MySQLdb.connect("localhost","root","root","test" ) # prepare a cursor obje...
2018-10-15 18:15:58 256
原创 爬取猫眼电影评分TOP100
操作系统:macos python版本:3.6 现在查看猫眼电影的页面真实页面源码会自动跳转, 可以在火狐浏览器中查看开发者模式的Network监听组件中查看源码 根据源码来编写的正则表达式('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?s...
2018-07-18 21:48:15 1380
原创 利用Python爬取QQ好友头像
开发环境:macos python版本: 2.7 import os import shutil import httplib2 dir = 'QQHeadPhotos2/' try: os.makedirs(dir) except: shutil.rmtree(dir) os.makedirs(dir) fp = open('qqlist.text', 'r'...
2018-07-18 21:46:40 1659
原创 Beautiful Soup 关联选择中的父节点和祖先节点、兄弟节点、提取信息
Python 用Beautiful Soup解析选择的节点元素 # 子节点和子孙节点 html = """ <html> <head> <title>The Dormouse's story</title> </head> <body> <p class="story"&
2018-07-18 21:36:45 14607 3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人