Python爬虫
XHDANE
这个作者很懒,什么都没留下…
展开
-
【爬虫2019,9月】携程eleven参数解密
携程:url='https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx'1,经过多次postman,传入参数:page 为翻页的页数for page in range(1,2): data={ "StartTime":"2019-09-12", "DepTime":"2019-09-...原创 2019-09-18 16:51:07 · 2120 阅读 · 1 评论 -
【笔记】爬虫+数据库操作(增删改查)
基本操作: import pymysql #导入模块conn =pymysql.connect( host ='127.0.0.1', port =3307, user ='root', passwd='xhdake', db ='CSRF', charset ='utf8',)#建立游标cursor =conn.cursor...原创 2018-11-16 10:06:56 · 948 阅读 · 0 评论 -
【学习】json 文件和 csv文件(读写)
1,jsonjson.dumps() ---将字典转成JSON格式import jsonzhidian_json=[{ 'name':'jing1', 'age':'21',},{ 'name':'jing2', 'age':'22',}]#json.dumps()--数据转成字符串json_str =json.dumps(zhidian_j...原创 2018-11-18 14:37:16 · 917 阅读 · 0 评论 -
【项目】爬取+导入+定时器
mysql:https://dev.mysql.com/downloads/windows/installer/5.7.html需求:#爬取数据#检查数据库是否存在#不:保存数据库#是:不保存#每个月执行一次#_*_ coding=utf-8 _*_from html.parser import HTMLParserimport requestsimport rei...原创 2018-11-15 17:36:18 · 285 阅读 · 0 评论 -
【学习—Scrapy1】日常操作
日常操作 1、创建:scrapy startproject pac(项目名称) 2、创建一个爬虫: scrapy genspider qsbk "qiushibaike.com"(名字)(要爬取地址) 3、设置:settings> > ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 3 DEFAULT_...原创 2019-04-10 17:22:34 · 161 阅读 · 0 评论 -
【项目】古诗
import requestsimport re#开始要访问的,获取全部内容def parse_page(url): headers={"user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 C...原创 2018-11-17 16:46:53 · 429 阅读 · 0 评论