- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 抓取需要登陆验证的动态网页
【问题】抓取需要登陆验证的动态网页【难点】 1.登陆验证 传统的模拟登陆实现难度比较大，需要认真分析目标网页的结构，另外可能还会遇到校验等问题 2.动态网页 传统的抓取方式抓取的往往是一个空壳网页，动态生成的内容并不能抓去到【思路】使用脚本工具去控制浏览器，实现动态网页的抓取。可选的方案有很多，本文使用python通过selenium控制Chro...
2019-09-25 15:43:27
418
原创 动态网站数据抓取
#!/usr/bin/python# -*- coding: UTF-8 -*-import urllibimport sysimport jsonimport codecsfrom collections import Counterreload(sys)sys.setdefaultencoding('utf8')class ParseData: def __get...
2018-10-17 10:08:17
169
原创 解决Flash端游戏解析json数据很“卡”的问题
问题：Flash游戏客户端用到的很多配置数据和任务数据都是以Json格式储存的，在程序运行过程中使用第三方Json类库进行解析。当Json文件数据量过大是会存在运行瓶颈，比如当Json文件达到 5M以上？思路：（1）将Json文本通过JsFl脚本编译成SWF文件（2）从SWF中读取对应的JSON信息 附录一：JSFL脚本var nameList = [];var doc
2012-02-16 16:29:34
635
原创 [As3]剔除数组中相同的数据项
问题：怎样将一个数组中相同的数据项剔除掉？思路：1）对原数组按升序排序2）新建一个临时数据3）遍历原数组的每一项，并将其与临时数组的最后项进行比较。若不相等则讲数据项插入临时数组，否则跳过。package{ import flash.display.Sprite; import flash.utils.Dictionary; import flash.ut...
2012-02-16 16:12:50
341
原创 保证一个类只有一个实例存在
<br />需求：<br />在做一些弹出窗口的时候，往往需要在新的弹出窗口被创建出来之前，<br />要检查是否已经有窗口存在。<br />如果存在，则先移除已经存在的实例，然后再创建新的实例。<br />这样就保证了一个类只有一个实例存在。<br /> <br />思路：<br />主要就是在类中设置一个指向自身的静态属性。<br /> <br />//------------------------------------------------<br />package {<br />
2011-04-15 17:09:00
346
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人