scrapy
打不死的搬砖小强!
这个作者很懒,什么都没留下…
展开
-
scrapy爬取猫眼电影破解加密文字,数据存入mysql数据库,渲染页面及分页功能!!!开源免费!
一、工具:scrapy框架numpyPIL : Image, ImageDraw, ImageFontfontTools.ttLib :TTFontlxml : html二、分析过程:1、列表页面因为想要把想要的数据渲染,所以不能只爬取一个页面的数据,从列表跳转到详情页面 要传递id值,确保跳转到指定详情页面:列表页面需要获取的数据如下:2、详情页面详情页面需要获取的数据如下...原创 2020-03-20 22:08:15 · 1066 阅读 · 0 评论 -
scrapy框架配合mysql数据库 CSS反爬加密大众点评!!开源免费!!!
一、创建scrapy项目创建完项目运行403.重写url地址,加头信息和cookie的值,ok!cookie的值有百度的,有点评的,所以就找点评的带上!如下图:font = TTFont(r"C:\Users\liangxue\Downloads/"+fonts)字体转换需要下载包:fontTools错误:Redirecting (302)第一页数据获取 第二页被禁用了,浏览器...原创 2020-03-20 20:56:05 · 289 阅读 · 0 评论 -
scrapy 爬取新片场配合mysql存数据,以及评论图标识别!
注意:(1)items中的字段表一定要跟数据库保持一致 而且也要跟获取数据yield 的数据名字也要相符,否则接收不到(2)数据库中存入的值是列表格式的,需要json.dump转成字符串 例如:post_dic[“author_info_list”]=json.dumps(post_datail_data[“author_info_list”])(3)获取的评论信息有图标,数据库是不认识...原创 2020-02-29 18:36:15 · 321 阅读 · 2 评论